直達 HyperAI超神經數據集傳送門：

　　數據集 - 超神經

　　人臉識別是計算機視覺項目的應用之一。在人臉識別的訓練中，訓練的數據量大、質量穩定、沒有「雜質」，是研究中非常好的優質數據庫。

　　VGG-Face2 人臉識別數據集

　　VGG-Face2 數據集，是一個人臉圖片數據集。

　　數據集中圖像均來自 Google 圖片搜索。數據集中的人在姿勢、年齡、種族和職業方面有很大差異。

　　VGG-Face2 Dataset

　　發布機構： 牛津大學

　　包含數量： 331 萬張圖片

　　數據格式： images

　　數據大小： 37.49 GB

　　發布時間： 2017 年

　　下載地址：VGG-Face2 人臉識別數據集 - 數據集下載 - 超神經

　　Helen 人臉數據集

　　HELEN 數據集由 2,330 張 400*400 像素的人臉圖像組成。該數據集包括 2,000 張訓練圖像和 330 張測試圖像，帶有高度準確的、詳細和一致的人臉主要組成部分標注。

　　Helen Dataset

　　發布機構： 伊利諾斯大學

　　包含數量： 2,330 張 400*400 像素的人臉圖像

　　數據格式： images

　　數據大小： 1.02 GB

　　發布時間： 2012 年

　　下載地址：Helen 人臉數據集 - 數據集下載 - 超神經

　　FairFace 人臉數據集

　　FairFace 是一個更種族均衡的人臉圖像數據集。 該數據集包含 108,501 張圖片，設及 7 個不同種族群體（白人、黑人、印度人、東亞人、東南亞人、中東人和拉丁裔）。

　　FairFace Dataset

　　發布機構： 加州大學洛杉磯分校

　　包含數量： 108,501 張圖片

　　數據格式： images

　　數據大小： 2.49 GB

　　發布時間： 2020 年

　　下載地址： FairFace 人臉數據集 - 數據集下載 - 超神經

　　姿態估計是利用某種幾何模型或結構來表示物體的結構和形狀。 當前存在的難點包括背景復雜、復雜姿態樣本少等。

　　MPI-INF-3DHP 3D 人體姿態估計數據集

　　MPI-INF-3DHP 是一個 3D 人體姿態估計數據集，圖像有室內和室外環境。 該數據集包含 130 多萬幀圖像，由 14 個攝像角度記錄 8 位參與者的 8 類活動。

　　MPI-INF-3DHP Dataset

　　發布機構： 薩爾州大學

　　包含數量： 130 多萬幀圖像

　　數據格式： video

　　數據大小： 21.77 GB

　　發布時間： 2016 年

　　下載地址：MPI-INF-3DHP 3D 人體姿態估計數據集 - 數據集下載 - 超神經

　　HandNet 手部姿勢數據集

　　HandNet 手部姿勢數據集包含 10 位參與者的手在 RealSense RGB-D 相機前非剛性變形的深度圖。該數據集共包含 214,971 張深度圖，其中訓練集 202,198 張，測試集 10,000 張，驗證集 2,773 張。

　　HandNet Dataset

　　發布機構： 以色列理工學院

　　包含數量： 214,971 張圖像

　　數據格式： images

　　數據大小： 12.85 GB

　　發布時間： 2015 年

　　下載地址：HandNet 手部姿勢數據集 - 數據集下載 - 超神經

　　3DPW 姿態數據集

　　3DPW 全稱 3D Poses in the Wild，是首個具有精確 3D 姿態的戶外數據集，可用于解決姿態估計問題。 該數據集包括 60 個視頻序列，3D 人體掃描和 3D 人物模型。

　　3DPW Dataset

　　發布機構： 漢諾威萊布尼茲大學

　　包含數量： 60 個視頻序列

　　數據格式： video

　　數據大小： 4.55 GB

　　發布時間： 2018 年

　　下載地址： 3DPW 姿態數據集 - 數據集下載 - 超神經

　　人工智能在自動駕駛與可以擔任駕駛員這一角色，通過對道路上發生的各種狀況信息進行搜集、分析和處理，做出操作代替人為操控。

　　Comma.ai 自動駕駛視頻數據集

　　Comma.ai 數據集是一個用于自動駕駛的視頻數據集。 包含共計 7.25 小時的視頻，該數據集包含 10 個以 20Hz 頻率記錄的視頻。該數據集還包括如汽車時速、加速度、轉向角、GPS 坐標、陀螺儀角度等的測量值。

　　Comma.ai Dataset

　　發布機構： Comma.ai 公司

　　包含數量： 7.25 個小時視頻

　　數據格式： video

　　數據大小： 44.96 GB

　　發布時間： 2016 年

　　下載地址： Comma.ai 自動駕駛視頻數據集 - 數據集下載 - 超神經

　　Argoverse 自動駕駛數據集

　　Argoverse 數據集包含 3D Tracking 和 Motion Forecasting 兩部分。

　　Argoverse 3D tracking 數據集包含 113 個場景的 3d 跟蹤注釋。 每個片段長度為 15-30 秒，共計包含 11319 個跟蹤對象。在訓練集和測試集的每個片段場景中包含了五米內的所有物體的注釋，可被理解為檢測汽車可駕駛區域（5 米）的所有物體，以 3d 框架形式展現。該數據集可被自動駕駛等領域使用。

　　Argoverse Motion Forecasting 數據集為運動預測類模型的數據集， 包含 327793 個場景，每個場景時常 5 秒，且包含以 10 Hz 采樣的每個跟蹤對象的 2D 鳥瞰圖。該數據集是由超過 1000 小時的街道駕駛所獲取，可用于自動駕駛等領域的研究。

　　Argoverse Dataset

　　發布機構： ARGO AI

　　包含數量： 超過 3 萬個場景

　　數據大小： 260.38 GB

　　發布時間： 2019 年

　　下載地址：Argoverse自動駕駛 - 數據集下載 - 超神經

　　Talk2Car 自動駕駛數據集

　　Talk2Car 數據集是一個對象引用數據集，包含了用自然語言為自動駕駛汽車編寫的命令，即乘客可以通過說話的形式對自動駕駛汽車下達命令。

　　Talk2Car 數據集建立在 nuScenes 數據集之上，包括一套廣泛的傳感器模式，即語義地圖、GPS、激光雷達、雷達和帶有 3D bounding box 標注的 360° RGB 圖像。

　　Talk2Car Dataset

　　發布機構： 比利時魯汶大學

　　數據格式： images

　　數據大小： 1.65 GB

　　發布時間： 2019 年

　　下載地址：Talk2Car 自動駕駛數據集 - 數據集下載 - 超神經

　　搜索或下載數據集，訪問以下鏈接：

　　數據集 - 超神經

　　歡迎有志于自動駕駛研發的同學（全職&實習）加入Nullmax，點擊查看崗位招聘詳情！在自動駕駛領域，目標檢測是一項富有挑戰性的工作，尤其是一些出現頻率較低的特殊目標，常因數據不足導致檢測效果一般。

　　去年，Nullmax感知團隊提出了一項針對少見目標檢測的數據增強方法，并將相應數據集開源上線，為行業解決數據缺乏難題，應對長尾挑戰提供研究參考。

　　對于自動駕駛車輛而言，準確識別各類目標和障礙物信息，可以有效保障行駛安全。因此感知系統既要檢測一些路上常見的目標，比如車輛、行人、交通標識等，也要檢測了一些少見的目標，比如錐形筒、交通警示桶、三角警示牌，等等。

　　這些檢測少見目標的神經網絡模型，和其他常見目標的檢測模型一樣，需要大量的標注數據進行訓練。但這類目標出現概率很低，所以獲取訓練數據需要耗費大量的成本和時間。

　　因此，Nullmax的感知團隊提出了一種基于交通場景信息的數據增強方法，通過Copy-Paste方式零成本生成高度逼真的訓練樣本，解決少見目標檢測的數據難題。實驗結果顯示，Nullmax的新方法可以顯著提升少見目標檢測的任務效果。

　　同時，Nullmax建立了專用于自動駕駛少見目標檢測的數據集Rare Object Dataset（ROD），并已正式開源上線。ROD是該細分領域內的首個公開數據集，可以為目標檢測、數據增強等方面的研究者提供稀缺的數據，研究特殊目標檢測相關課題。

　　ROD數據集現已開放下載：  https://nullmax-vision.github.io/

　　01  ROD自動駕駛數據集

　　Nullmax推出的ROD是一個多樣化的真實世界數據集，當中包含大量訓練圖像和驗證圖像，并對小車、卡車、巴士、行人和自行車這5類常見目標進行了相應標注。

　　此外，ROD還提供了3類典型少見目標的掩膜，可用于少見目標檢測和數據增強方法的研究，當中包括大約1000個錐形筒、100個交通警示桶和50個三角警示牌的掩膜數據。

　　ROD具有良好的數據多樣性，覆蓋了自動駕駛的不同場景。它包含了不同的道路級別，包括高速公路、快速路、城市街道以及鄉村道路；不同的天氣狀況，比如晴天、陰天和雨天；以及不同的時間段，包括白天、傍晚和夜間。

　　02  基于交通場景信息的數據增強

　　為了解決少見目標檢測的數據難題，Nullmax的感知團隊提出了結合交通場景的數據增強方法，通過簡單有效的Copy-Paste增強方式生成逼真的訓練數據，獲得了出色的檢測效果。

　　這項研究獲得了ICRA 2022收錄，全文地址：https://arxiv.org/pdf/2205.00376.pdf

　　通常來說，訓練樣本較少的目標檢測任務可以看作是面向不平衡或長尾的數據集。有一些研究者，通過重采樣訓練數據和調整損失函數權重來解決這個問題，但這類方法對于專家經驗較為依賴。

　　數據增強是解決數據稀缺問題的另一個研究方向，旨在通過最小代價生成大量帶標注的訓練樣本。數據增強大致可以分為圖像級增強和實例級增強，當包含特定目標類別的圖像級訓練數據達到一定數量時，前者是一種有效的方法；反之，則是實例級數據增強更為適合。

　　Nullmax采用的Copy-Paste方式，就是一種常見的實例級數據增強，它從源域復制特定目標類別的實例掩膜粘貼到目標域。通過系統性的研究，我們證明了在自動駕駛領域，通過結合交通場景信息的Copy-Paste數據增強方式，可以達到出色的少見目標檢測性能。

　　具體來說，Nullmax利用源域的目標掩膜進行實例級變換，創建逼真的目標實例。并將交通場景信息用作全局的幾何約束，將局部自適應的實例掩膜粘貼到目標圖像上，生成訓練數據。最后，再通過局部和全局的一致性保證訓練數據的質量和真實度。

　　Nullmax提出的方法包括了3個主要環節：

　　(1) 收集目標實例掩膜和背景圖像。在Nullmax的研究中，所有的背景圖像來自于不同的真實交通場景。以錐形筒為例，它會涵蓋不同的類型、顏色和大小。

　　(2) 通過理解交通場景信息，計算實例掩膜的粘貼位置。在背景圖像上隨機粘貼目標，效率低下，而且目標之間的關聯可能與真實交通場景不符。Nullmax的方法以交通環境信息為約束，考慮相機內外參，進行實例掩膜的疊加。

　　(3) 對實例掩膜進行局部自適應轉換。為了確保目標掩膜無縫粘貼到背景圖像中，Nullmax使用了一系列局部自適應的數據增強策略：基于感知的景深，縮放粘貼對象；應用多種實例級混合策略，確保圖像接縫盡量平滑；以及局部自適應的顏色變換（HSV）。

　　實驗顯示，Nullmax提出的數據增強方法在錐形筒檢測中取得了出色效果，并且這一方法也能夠推廣至其他類型的少見物體檢測任務當中。

　　此外，Nullmax也研究了各組件的效果，分析了方法中實例掩膜域、實例掩膜數量和強化訓練圖像數量的敏感性，證明了這一方法可為少見物體檢測任務提供有效的訓練圖像。未來，我們希望通過增量訓練對少見目標檢測展開進一步研究，歡迎感興趣的朋友關注交流！

　　最全自動駕駛數據集總結這個應該是我知道的比較全面的總結了，而且開源，還可以自己添加漏掉的數據集。

　　當今社會，自動駕駛技術已成為汽車產業的未來趨勢。但是，要想讓自動駕駛車輛真正上路行駛，離不開大規模的高質量數據集的支撐。

　　本文將為您介紹43個經典、熱門的自動駕駛數據集，希望對您在選擇適合的數據集時有所幫助。（篇幅較長，建議收藏細看~）

　　● 發布方：加州理工學院

　　● 發布時間：2009

　　● 簡介： 加州理工學院行人數據集由大約 10 小時的 640x480 30Hz 視頻組成，該視頻取自在城市環境中通過常規交通行駛的車輛。注釋了大約 250,000 幀（在 137 個大約分鐘長的片段中），總共 350,000 個邊界框和 2300 個獨特的行人。注釋包括邊界框和詳細的遮擋標簽之間的時間對應關系。更多信息可以在我們的 PAMI 2012 和 CVPR 2009 基準測試文件中找到。

　　● 下載地址：https://opendatalab.org.cn/Caltech_Pedestrian_Detection_etc

　　● 論文地址： http://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/files/CVPR09pedestrians.pdfhttp://www.vision.caltech.edu/Image_Datasets/CaltechPedestrians/files/PAMI12pedestrians.pdf

　　● 發布方：馬克斯普朗克信息學研究所

　　● 發布時間：2010

　　● 簡介： 新的TUD-布魯塞爾數據集是從布魯塞爾市中心的一輛駕駛汽車記錄的。該集包含508圖像對 (每秒一對及其原始視頻的后繼圖像)，分辨率為640 × 480，帶有1326注釋的行人。由于行人從多個角度以非常小的比例出現，因此數據集具有挑戰性。

　　● 下載地址： https://opendatalab.org.cn/TUD-Brussels_Pedestrian

　　● 論文地址： https://www.mpi-inf.mpg.de/fileadmin/inf/d2/wojek/wojek09cvpr.pdf

　　● 發布方：中國國家自然科學基金

　　● 發布時間：未知

　　● 簡介： 中國交通標志數據集，TSRD包括包含58個標志類別的6164個交通標志圖像。將圖像分為兩個子數據庫，分別為訓練數據庫和測試數據庫。訓練數據庫包括4170圖像，而測試數據庫包含1994圖像。所有圖像都注釋了符號和類別的四個corrdinates。

　　● 下載地址： https://opendatalab.org.cn/TSRD

　　● 發布方：中國國家自然科學基金

　　● 發布時間：未知

　　● 簡介： 中國交通標志數據集，TSDD包括包含多種標志的10000交通場景圖像。圖像是在不同的時間，天氣條件，照明條件以及移動模糊條件下收集的。

　　● 下載地址： https://opendatalab.org.cn/TSDD

　　● 發布方：中國國家自然科學基金

　　● 發布時間：未知

　　● 簡介： 中國交通標志數據集，TPD包括包含各種類型的交通面板的2329交通圖像，這些圖像是在各種不同的情況下收集的，例如天氣條件，光照，不同的環境，局部occluon等。

　　● 下載地址： https://opendatalab.org.cn/TPD

　　● 發布方：ISTI-CNR

　　● 發布時間：2016

　　● 簡介： CNRPark EXT是一個數據集，用于在164個停車位的停車場上建立的空置和占用停車位的大致150,000個標記圖像 (補丁) 的停車場的視覺占用檢測。

　　● 下載地址： https://opendatalab.org.cn/CNRPark-EXT

　　● 發布方：中國科學技術大學 · 邢臺金融控股集團

　　● 發布時間：2018

　　● 簡介： 中國城市停車數據集（CCPD）是用于車牌檢測和識別的數據集。它包含超過 25 萬張獨特的汽車圖像，帶有車牌位置注釋。

　　● 下載地址： https://opendatalab.org.cn/CCPD

　　● 論文地址： http://openaccess.thecvf.com/content_ECCV_2018/papers/Zhenbo_Xu_Towards_End-to-End_License_ECCV_2018_paper.pdf

　　● 發布方：清華大學 · 巴斯大學

　　● 發布時間：2018

　　● 簡介： 盡管在交通標志檢測和分類領域取得了可喜的成果，但很少有作品為現實世界的圖像同時提供這兩個任務的解決方案。我們為這個問題做出了兩個貢獻。首先，我們從100000騰訊街景全景圖創建了一個大型交通標志基準，超越了以前的基準。它提供包含30000交通標志實例的100000圖像。這些圖像涵蓋了照度和天氣條件的大變化。基準中的每個交通標志都帶有類標簽，其邊界框和像素掩碼。我們把這個基準叫清華-騰訊100K。

　　● 下載地址： https://opendatalab.org.cn/Tsinghua-Tencent_100K_Tutorial

　　● 論文地址： https://d-nb.info/1165656485/34

　　● 發布方：上海美國學校浦西校區

　　● 發布時間：2019

　　● 簡介： 一個行人交通信號燈數據集，包含在上海數百個十字路口拍攝的 5000 多張照片。

　　● 下載地址： https://opendatalab.org.cn/PTL

　　● 論文地址： https://arxiv.org/pdf/1907.09706v1.pdf

　　● 發布方：西安交通大學 · 長安大學

　　● 發布時間：2019

　　● 簡介： BLVD 是視覺認知計算與智能車輛實驗室收集的大規模 5D 語義數據集。該數據集包含 654 個高分辨率視頻剪輯，這些剪輯來自中國智能汽車驗證中心 (IVPCC) 所在的中國江蘇省常熟市，總幀數為 120k。RGB 數據和 3D 點云的幀速率為 10fps/秒。該數據集包含完全注釋的幀，產生 249,129 個 3D 注釋、4,902 個用于跟蹤的獨立個體，總長度為 214,922 個點、6,004 個用于 5D 交互式事件識別的有效片段，以及 4,900 個用于 5D 意圖預測的個體。根據物體密度（低和高）和光照條件（白天和夜間），這些任務包含在四種場景中。

　　● 下載地址： https://opendatalab.org.cn/BLVD

　　● 論文地址： https://arxiv.org/pdf/1903.06405v1.pdf

　　● 發布方：加州大學伯克利分校 · 康奈爾大學 · 加州大學圣地亞哥分校 · Element, Inc

　　● 發布時間：2020

　　● 簡介： 我們構建了最大的駕駛視頻數據集 BDD100K，包含 10 萬個視頻和 10 個任務，以評估圖像識別算法在自動駕駛方面的令人興奮的進展。該數據集具有地理、環境和天氣的多樣性，這對于訓練不太可能對新條件感到驚訝的模型很有用。基于這個多樣化的數據集，我們為異構多任務學習建立了一個基準，并研究了如何一起解決這些任務。我們的實驗表明，現有模型需要特殊的訓練策略來執行此類異構任務。BDD100K 為未來在這個重要場所的學習打開了大門。更多詳細信息請參見數據集主頁。

　　● 下載地址： https://opendatalab.org.cn/BDD100K

　　● 論文地址： https://arxiv.org/pdf/1805.04687v2.pdf

　　● 發布方：南加州大學 · 滴滴實驗室

　　● 發布時間：2021

　　● 簡介： D 2-City是一個大型駕駛視頻數據集，提供10,000多個行車記錄儀視頻記錄在720p HD或1080p FHD。大約1000個視頻在所有道路對象的每個幀中都帶有檢測和跟蹤注釋，包括邊界框以及汽車，貨車，公共汽車，卡車，行人，摩托車，自行車，敞開式和封閉式三輪車，叉車的跟蹤id，以及大型和小型街區。視頻的一些剩余部分帶有在關鍵幀中注釋的道路對象。

　　● 下載地址： https://opendatalab.org.cn/D_square-City

　　● 論文地址： https://arxiv.org/pdf/1904.01975.pdf

　　● 發布方：華為

　　● 發布時間：2021

　　● 簡介： ONCE（One millioN sCenEs）是自動駕駛場景下的3D物體檢測數據集。ONCE 數據集由 100 萬個 LiDAR 場景和 700 萬個對應的相機圖像組成。這些數據選自 144 個駕駛小時，比 nuScenes 和 Waymo 等其他可用的 3D 自動駕駛數據集長 20 倍，并且是在一系列不同的地區、時期和天氣條件下收集的。由組成：100 萬個 LiDAR 幀，700 萬個相機圖像 200 平方公里的駕駛區域，144 個駕駛小時 15k 個完全注釋的場景，分為 5 個類別（汽車、公共汽車、卡車、行人、騎自行車的人） 多樣化的環境（白天/夜晚、晴天/雨天、城市/郊區）。

　　● 下載地址： https://opendatalab.org.cn/ONCE

　　● 論文地址： https://arxiv.org/pdf/2106.11037v3.pdf

　　● 發布方：印度理工學院 · 東京大學 · UrbanX Technologies

　　● 發布時間：2021

　　● 簡介： 道路損壞數據集 2020 (RDD-2020) 其次是一個大規模的異構數據集，包含使用智能手機從多個國家收集的 26620 張圖像。這些圖像是從印度、日本和捷克共和國的道路上收集的。

　　● 下載地址： https://opendatalab.org.cn/RDD-2020

　　● 論文地址： https://arxiv.org/ftp/arxiv/papers/2209/2209.08538.pdf

　　● 發布方：華為諾亞方舟實驗室 · 中山大學 · 香港中文大學

　　● 發布時間：2021

　　● 簡介： 我們引入了一個新的大規模2D數據集，名為SODA10M，其中包含10m個未標記圖像和具有6個代表性對象類別的20k個標記圖像。SODA10M旨在促進自動駕駛中自我監督學習和領域適應的重大進步。它是迄今為止最大的2D自動駕駛數據集，將成為社區更具挑戰性的基準。

　　● 下載地址： https://opendatalab.org.cn/SODA10M

　　● 論文地址： https://arxiv.org/pdf/2106.11118.pdf

　　● 發布方：Facebook Reality Labs

　　● 發布時間：2022

　　● 簡介： 多光譜圖像對可以提供組合信息，使對象檢測應用在開放世界中更加可靠和健壯。為了充分利用不同的模態，作者提出了一種簡單而有效的跨模態特征融合方法，稱為跨模態融合變壓器 (CFT)。與以前基于CNNs的工作不同，我們的網絡在Transformer方案的指導下，在特征提取階段學習遠程依賴關系并集成全局上下文信息。更重要的是，通過利用變壓器的自我關注，網絡可以自然地同時執行模態內和模態間融合，并可靠地捕獲RGB和熱域之間的潛在相互作用。從而大大提高了多光譜目標檢測的性能。在多個數據集上進行的大量實驗和消融研究表明，該方案是有效的，并獲得了最先進的檢測性能。我們的代碼和模型可在https://github.com/DocF/多光譜-對象檢測。

　　● 下載地址： https://opendatalab.org.cn/Mapillary_Traffic_Sign_Dataset

　　● 發布方：本田歐洲研究所 · 馬克斯普朗克智能系統研究所

　　● 發布時間：2013

　　● 簡介： KITTI Road 是道路和車道估計基準，由 289 個訓練圖像和 290 個測試圖像組成。它包含三種不同類別的道路場景：* uu - 城市未標記 (98/100) * um - 城市標記 (95/96) * umm - 城市多標記車道 (96/94) * 城市 - 地面以上三者的組合事實已通過圖像的手動注釋生成，可用于兩種不同的道路地形類型：道路 - 道路區域，即所有車道的組成，車道 - 自我車道，即車輛當前所在的車道繼續行駛。地面實況僅用于訓練圖像。

　　● 下載地址： https://opendatalab.org.cn/KITTI_Road

　　● 論文地址： http://www.cvlibs.net/publications/Fritsch2013ITSC.pdf

　　● 發布方：Tusimple

　　● 發布時間：2017

　　● 簡介： 復雜性: 良好和中等天氣條件不同的白天2車道/3車道/4車道/或更多高速公路。不同的交通狀況 數據集大小: 培訓: 3626視頻剪輯，3626帶注釋的幀 測試: 2782視頻剪輯 攝像機和視頻剪輯: 20幀的1s剪輯攝像機的視圖方向非常接近行駛方向 注釋類型: 車道標記的折線。

　　● 下載地址： https://opendatalab.org.cn/tusimple_lane

　　● 論文地址： https://arxiv.org/pdf/1907.01294

　　● 發布方：上海人工智能實驗室 · 上海交通大學 · 商湯科技研究所

　　● 發布時間：2022

　　● 簡介： OpenLane 是迄今為止第一個真實世界和規模最大的 3D 車道數據集。我們的數據集從公共感知數據集 Waymo Open Dataset 中收集有價值的內容，并為 1000 個路段提供車道和最近路徑對象（CIPO）注釋。簡而言之，OpenLane 擁有 200K 幀和超過 880K 仔細注釋的車道。我們公開發布了 OpenLane 數據集，以幫助研究界在 3D 感知和自動駕駛技術方面取得進步。

　　● 下載地址： https://opendatalab.org.cn/OpenLane

　　● 論文地址： https://arxiv.org/pdf/2203.11089.pdf

　　● 發布方：上海人工智能實驗室

　　● 發布時間：2023

　　● 簡介： 全球首個自動駕駛道路結構感知和推理基準。數據集的首要任務是場景結構感知和推理，這需要模型能夠識別周圍環境中車道的可行駛狀態。該數據集的任務不僅包括車道中心線和交通要素檢測，還包括檢測到的對象的拓撲關系識別。

　　● 下載地址： https://opendatalab.org.cn/OpenLane-V2

　　● 發布方：波恩大學

　　● 發布時間：2019

　　● 簡介： 我們提出了一個基于 KITTI Vision Benchmark 的大規模數據集，并使用了里程計任務提供的所有序列。我們為序列 00-10 的每個單獨掃描提供密集注釋，這使得能夠使用多個順序掃描進行語義場景解釋，如語義分割和語義場景完成。剩余的序列，即序列 11-21，被用作測試集，顯示大量具有挑戰性的交通情況和環境類型。未提供測試集的標簽，我們使用評估服務對提交進行評分并提供測試集結果。

　　● 下載地址： https://opendatalab.org.cn/SemanticKITTI

　　● 論文地址： https://arxiv.org/pdf/1904.01416v3.pdf

　　● 發布方：Argo AI

　　● 發布時間：2019

　　● 簡介： Argoverse 1開源數據集合包括: 具有113 3D注釋場景的3D跟蹤數據集 具有324,557場景的運動預測數據集 Argoverse 2開源數據集合包括: 具有1,000 3D注釋場景的傳感器數據集-每個場景都具有激光雷達，環形攝像頭和立體聲傳感器數據 具有20,000個未標記場景的Lidar數據集，適用于自我監督學習 運動預測數據集，具有250,000有趣的駕駛場景，其屬性比其前身Argoverse 1運動預測數據集更豐富 具有1,000場景的地圖更改數據集，其中200描述了自映射以來更改的場景。

　　● 下載地址： https://opendatalab.org.cn/Argoverse1

　　● 論文地址： https://openaccess.thecvf.com/content_CVPR_2019/papers/Chang_Argoverse_3D_Tracking_and_Forecasting_With_Rich_Maps_CVPR_2019_paper.pdf

　　● 發布方：Google · Waymo LLC

　　● 發布時間：2020

　　● 簡介： Waymo Open數據集由兩個數據集組成，具有高分辨率傳感器數據和用于2,030片段的標簽的感知數據集，以及具有對象軌跡和用于103,354片段的相應3D地圖的運動數據集。2022年4月，我們擴展了感知數據集，以包括關鍵點標簽，2d到3D關聯標簽，3D語義分割標簽以及針對3D攝像機檢測挑戰的新測試集。2022年6月，我們擴展了感知數據集，以包括2D視頻全景分割標簽。本數據集包含Motion的V1.1版本，Perception v1.4.0版本。

　　● 下載地址： https://opendatalab.org.cn/Waymo

　　● 論文地址： https://openaccess.thecvf.com/content_CVPR_2020/papers/Sun_Scalability_in_Perception_for_Autonomous_Driving_Waymo_Open_Dataset_CVPR_2020_paper.pdf

　　● 發布方：Google · Waymo LLC

　　● 發布時間：2023

　　● 簡介： 這個數據集包含了Motion v1.2，添加了激光雷達數據和車道。將 tf_examples 中的最大地圖點數增加到 30k，并將采樣減少到 1.0m 以增加地圖覆蓋范圍，因此覆蓋范圍與場景原型格式的數據集相等。

　　● 下載地址： https://opendatalab.org.cn/Waymo_Motion_Dataset_v1.2

　　● 發布方：APTIV Company

　　● 發布時間：2020

　　● 簡介： nuScenes數據集是一個大規模的自動駕駛數據集。該數據集具有用于在波士頓和新加坡收集的1000場景的3D邊界框。每個場景長20秒，注釋為2Hz。這導致總共28130個用于訓練的樣本，6019個用于驗證的樣本和6008個用于測試的樣本。該數據集具有完整的自動駕駛車輛數據套件: 32光束激光雷達，6個攝像頭和具有完整360 ° 覆蓋的雷達。3D對象檢測挑戰評估10個類別的性能: 汽車，卡車，公共汽車，拖車，建筑車輛，行人，摩托車，自行車，交通錐和障礙物。

　　● 下載地址： https://opendatalab.org.cn/nuScenes

　　● 論文地址： https://arxiv.org/pdf/1903.11027v5.pdf

　　● 發布方：達姆施塔特工業大學 · 馬克斯普朗克信息學研究所

　　● 發布時間：2016

　　● 簡介： Cityscapes是一個大型數據庫，專注于對城市街道場景的語義理解。它為分為8個類別 (平面，人類，車輛，構造，對象，自然，天空和虛空) 的30個類提供語義，實例和密集的像素注釋。數據集由大約5000個精細注釋圖像和20000個粗糙注釋圖像組成。在幾個月，白天和良好的天氣條件下，在50個城市中捕獲了數據。它最初被記錄為視頻，因此手動選擇幀以具有以下功能: 大量動態對象，不同的場景布局和不同的背景。

　　● 下載地址： https://opendatalab.org.cn/CityScapes

　　● 論文地址： https://arxiv.org/pdf/1604.01685v2.pdf

　　● 發布方：亞琛工業大學

　　● 發布時間：2020

　　● 簡介： 該數據集包含兩個合成的、語義分割的道路場景圖像子集，它們是為開發和應用論文“A Sim2Real Deep Learning Approach for the Transformation of Images from Multiple Vehicle-Mounted Cameras to a Semantically Segmented”中描述的方法而創建的。該數據集可以通過 Github 上描述的 Cam2BEV 方法的官方代碼實現來使用。

　　● 下載地址： https://opendatalab.org.cn/Cam2BEV

　　● 論文地址： https://arxiv.org/pdf/2005.04078v1.pdf

　　● 發布方：Lyft

　　● 發布時間：2020

　　● 簡介： 該數據集包括我們的自動車隊遇到的汽車，騎自行車的人，行人和其他交通代理的運動日志。這些日志來自通過我們團隊的感知系統處理原始激光雷達、攝像機和雷達數據，非常適合訓練運動預測模型。該數據集由捕獲自動駕駛車輛周圍環境的170,000場景組成。每個場景都會編碼給定時間點車輛周圍的狀態。 該基線解決方案對來自包含在數據集內的代理位置的200萬多個樣本進行訓練。該模型一次預測單個代理。首先，柵格生成一個鳥瞰圖 (BEV) 自頂向下的柵格，該柵格對所有代理和地圖進行編碼。網絡根據此柵格推斷代理的未來坐標。

　　● 下載地址： https://opendatalab.org.cn/Lyft_Level_5_Prediction

　　● 論文地址： https://arxiv.org/pdf/2006.14480v2.pdf

　　● 發布方：香港大學

　　● 發布時間：2022

　　● 簡介： Deepconcident數據集是第一個用于自動駕駛的大規模事故數據集，該數據集包含全面的傳感器集，并支持各種自動駕駛任務。值得注意的是，對于我們設計的每個場景，我們都有四個數據收集工具，其中兩個設計用于相互碰撞，另外兩個分別跟隨。因此，deep事故還可以支持多車輛合作自動駕駛。(1) 各種事故場景，每種情況下的四種數據收集車輛提供不同的視角，并實現多車輛協作自動駕駛。(2) 131k帶注釋的激光雷達樣本 (3倍nuScenes) 和791k帶注釋的帶有細粒度對象注釋的攝像機圖像 (總共六個類別: 汽車，貨車，卡車，行人，騎自行車的人，摩托車)。(3) 支持許多任務: 3D物體檢測和跟蹤 (基于激光雷達、基于多視圖圖像和基于單目圖像) 、BEV語義和實例分割 (基于多視圖圖像) 、運動預測。(4) 各種場景發生的地方、天氣、一天中的時間。

　　● 下載地址： https://opendatalab.org.cn/DeepAccident

　　● 發布方：卡內基梅隆大學

　　● 發布時間：2021

　　● 簡介： 全傳感器套件 (3倍激光雷達、1倍SPAD激光雷達、4倍雷達、5倍RGB、5倍深度相機、IMU、全球定位系統) 高密度遠距離激光雷達點云 來自SPAD-LiDAR的多回波點云 每個具有1000幀 (100 s) 的100序列 不包括車禍和違反交通規則在內的分布數據 用于5個攝像機視點的500,000注釋圖像 每個LiDAR/雷達傳感器的100,000個帶注釋的幀 26M 2D/3D邊界框精確注釋為4個對象類別 (汽車、騎自行車的人、摩托車、行人) 跨時間注釋對象身份以形成軌跡 對象屬性，如截斷/遮擋百分比、角和線速度、加速度、制動、轉向、油門 順序點云泛光分割: 為所有序列中的23個語義類注釋的所有點; 屬于前景對象的點也為唯一實例類注釋。 視頻全景分割: 為所有視頻中的23個語義類注釋的所有像素。屬于前景對象的像素也被注釋為一個唯一的實例類。 可免費用于非商業和商業用途。

　　● 下載地址： https://opendatalab.org.cn/AIOdrive

　　● 論文地址： https://www.xinshuoweng.com/papers/AIODrive/arXiv.pdf

　　● 發布方：奧迪

　　● 發布時間：2020

　　● 簡介： 我們已經發布了奧迪自動駕駛數據集 (A2D2)，以支持從事自動駕駛的初創公司和學術研究人員。為車輛配備多模式傳感器套件，記錄大型數據集并對其進行標記是耗時且費力的。我們的數據集消除了這種高進入壁壘，并使研究人員和開發人員可以專注于開發新技術。數據集具有2D語義分割，3D點云，3D邊界框和車輛總線數據。

　　● 下載地址： https://opendatalab.org.cn/A2D2

　　● 論文地址： https://arxiv.org/pdf/2004.06320.pdf

　　● 發布方：普渡大學 · 美國沃爾沃汽車技術公司 · Luminar Technologies

　　● 發布時間：2020

　　● 簡介： Cirrus數據集包含6,285對RGB、LiDAR高斯和LiDAR均勻幀。Cirrus已在整個250米激光雷達有效范圍內為八個對象類別 (如下所述) 進行了注釋。它包括高速公路和低速城市道路場景。所有圖像都經過了匿名化過程，模糊了人臉和車牌，以消除個人身份信息。

　　● 下載地址： https://opendatalab.org.cn/Cirrus

　　● 論文地址： https://arxiv.org/pdf/2012.02938.pdf

　　● 發布方：卡內基梅隆大學

　　● 發布時間：2018

　　● 簡介： 從寬基線、未校準和非同步的相機中觀察到的多個動態剛性物體（例如車輛）的快速準確的 3D 重建具有挑戰性。一方面，特征跟蹤在每個視圖中都能很好地工作，但由于視野重疊有限或由于遮擋，很難在多個攝像機之間進行對應。另一方面，深度學習的進步導致強大的檢測器可以跨不同的視點工作，但對于基于三角剖分的重建仍然不夠精確。在這項工作中，我們開發了一個框架來融合單視圖特征軌跡和多視圖檢測到的部分位置，以顯著改善移動車輛的檢測、定位和重建，即使在存在強遮擋的情況下也是如此。我們通過重建 3 分鐘窗口內通過的 40 多輛車輛，在繁忙的交通路口展示了我們的框架。

　　● 下載地址： https://opendatalab.org.cn/CarFusion

　　● 論文地址： http://openaccess.thecvf.com/content_cvpr_2018/papers/Reddy_CarFusion_Combining_Point_CVPR_2018_paper.pdf

　　● 發布方：Motional

　　● 發布時間：2021

　　● 簡介： nuPlan是世界上第一個自動駕駛的大型規劃基準。盡管越來越多的基于ML的運動計劃人員，但缺乏已建立的數據集，仿真框架和指標限制了該領域的進展。用于自動駕駛車輛運動預測的現有基準 (Argoverse，Lyft，Waymo) 集中在其他代理的短期運動預測上，而不是自我車輛的長期計劃。這導致以前的工作使用具有L2-based指標的開環評估，這些指標不適合公平評估長期計劃。我們的基準測試通過提供培訓框架來開發基于機器學習的計劃者，輕量級閉環模擬器，特定于運動計劃的指標以及可視化結果的交互式工具，克服了這些限制。

　　● 下載地址： https://opendatalab.org.cn/nuPlan-v1

　　● 論文地址： https://arxiv.org/pdf/2106.11810.pdf

　　● 發布方：Motional

　　● 發布時間：2021

　　● 簡介： nuPlan v1.1 數據集對 v1.0 數據集進行了多項改進——場景標記頻率顯著增加，場景標記性能得到改進，交通燈標簽和計劃路線現在更加準確。有關如何開始的信息，請參閱位于http://github.com/motional/nuplan-devkit的開發工具包。

　　● 下載地址： https://opendatalab.org.cn/nuPlan-v1.1

　　● 發布方：浙江大學 · 倫敦帝國理工學院 · 百度

　　● 發布時間：2018

　　● 簡介： Q-Traffic 是一個大規模的交通預測數據集，由三個子數據集組成：查詢子數據集、交通速度子數據集和路網子數據集。

　　● 下載地址： https://opendatalab.org.cn/Q-Traffic

　　● 論文地址： https://arxiv.org/pdf/1806.07380v1.pdf

　　● 發布方：馬克斯普朗克智能系統研究所 · 伊利諾伊大學厄巴納香檳分校

　　● 發布時間：2022

　　● 簡介： TransFuser: 模仿基于變壓器的傳感器融合用于自動駕駛，用于端到端自動駕駛的多模態融合變壓器 為了生成基于交叉點的方案的路線，我們檢查通過生成的方案有效的交叉點的所有遍歷，并包括這些用于訓練。在8個公共城鎮地圖上，我們通過交叉路口獲得了大約2500條這樣的路線。這些路線的平均長度為100m。由于其他情況，我們的數據集中有大量的交叉路口，因此我們沿著彎曲的高速公路收集場景1和3的數據。大約有500條這樣的路線。平均路線長度為400m，并且該場景在路線的中間產生。最后，由于更改車道具有挑戰性，因此我們提取了類似于場景1和場景3的彎曲路線，但包括沿路線而不是CARLA場景的車道更改。大約有500條車道變更路線，平均長度為400m。每條這樣的路線都有2個車道變更，一個在起點，一個在中途點。

　　● 下載地址： https://opendatalab.org.cn/transfuser_carla

　　● 論文地址： https://arxiv.org/pdf/2205.15997.pdf

　　● 發布方：賓夕法尼亞大學

　　● 發布時間：2019

　　● 簡介： Multi Vehicle Stereo Event Camera (MVSEC) 數據集是一組數據，旨在為基于事件的攝像機開發新穎的 3D 感知算法。立體事件數據從汽車、摩托車、六軸飛行器和手持數據中收集，并與激光雷達、IMU、運動捕捉和 GPS 融合，以提供地面真實姿態和深度圖像。

　　● 下載地址： https://opendatalab.org.cn/MVSEC

　　● 論文地址： https://arxiv.org/pdf/1801.10202v2.pdf

　　● 發布方：密歇根大學 · 福特汽車公司研究

　　● 發布時間：2020

　　● 簡介： 我們提供了一個基于改裝的福特F-250皮卡的自主地面車輛試驗臺收集的數據集。該車輛配備了專業 (Applanix POS LV) 和消費者 (Xsens mti-g) 慣性測量單元 (IMU)，Velodyne 3D-lidar掃描儀，兩個推掃帚前視Riegl激光雷達和一個Point Grey Ladybug3全向攝像機系統。在這里，我們提供了來自安裝在車輛上的這些傳感器的時間記錄數據，這些數據是在2009年11月到12月期間在福特研究園區和密歇根州迪爾伯恩市中心駕駛車輛時收集的。這些數據集中的車輛路徑軌跡包含幾個大型和小型環路閉合，這對于測試各種最先進的計算機視覺和SLAM (同時定位和映射) 算法應該是有用的。數據集的大小很大 (約100 GB)，因此在下載數據集之前，請確保您有足夠的帶寬。

　　● 下載地址： https://opendatalab.org.cn/Ford

　　● 論文地址： https://arxiv.org/pdf/2003.07969.pdf

　　● 發布方：羅徹斯特理工學院

　　● 發布時間：2020

　　● 簡介： 收集車禍數據集 (CCD) 用于交通事故分析。它包含由安裝在駕駛車輛上的行車記錄儀拍攝的真實交通事故視頻，這對于開發有安全保障的自動駕駛系統至關重要。 CCD 區別于現有數據集，用于多樣化的事故注釋，包括環境屬性（白天/夜晚、下雪/下雨/良好的天氣條件）、是否涉及自我車輛、事故參與者和事故原因描述。

　　● 下載地址： https://opendatalab.org.cn/CCD

　　● 論文地址： https://arxiv.org/pdf/2008.00334v1.pdf

　　● 發布方：哈佛大學 · 富士通研究所 · CBMM & MIT · 麻省理工學院計算機科學與人工智能實驗室

　　● 發布時間：2021

　　● 簡介： 我們引入了一個具有挑戰性的新數據集，用于同時進行對象類別和視點分類——Biased-Cars 數據集。我們的數據集具有照片般逼真的戶外場景數據，可對場景雜亂（樹木、街道設施和行人）、汽車顏色、對象遮擋、不同背景（建筑物/道路紋理）和照明條件（天空地圖）進行精細控制。 Biased-Cars 由 5 種不同汽車模型的 15K 圖像組成，這些圖像是從多個尺度的 0-90 度方位角和 0-50 度天頂角之間變化的視點看到的。我們的數據集提供了對類別、視點和其他場景參數的聯合分布的完全控制，并且使用基于物理的渲染確保了照片的真實感。

　　● 下載地址： https://opendatalab.org.cn/Biased-Cars

　　● 論文地址： https://arxiv.org/pdf/2007.08032v3.pdf

　　● 發布方：弗吉尼亞大學 · 伊利諾伊大學厄巴納香檳分校 · 萊斯大學

　　● 發布時間：2021

　　● 簡介： EyeCar數據集包含來自20名參與者的3.5小時凝視行為（匯總和原始），以及超過315，000個追尾碰撞視頻幀。它包含 21 個在各種交通、天氣和日光條件下拍攝的前視視頻。每個視頻長度為 30 秒，包含典型的駕駛任務（例如，車道保持、并入和制動），以結束追尾碰撞。

　　● 下載地址： https://opendatalab.org.cn/EyeCar

　　● 論文地址： https://arxiv.org/pdf/1912.07773v4.pdf

　　● 發布方：香港中文大學 · 加州大學

　　● 發布時間：2022

　　● 簡介： 我們從YouTube上抓取第一視圖駕駛視頻。收集總長度超過120小時的134視頻。如圖1所示，這些視頻涵蓋了具有各種天氣條件 (晴天，雨天，下雪等) 和區域 (農村和城市地區) 的不同駕駛場景。我們每一秒鐘采樣一個幀，得到130萬幀的數據集。我們將YouTube駕駛數據集分為具有70% 數據的訓練集和具有30% 數據的測試集，并在訓練集上進行ACO的訓練。

　　● 下載地址： https://opendatalab.org.cn/YouTube_Driving_Dataset

　　● 論文地址： https://arxiv.org/pdf/2204.02393.pdf