發(fā)布時間：2020-03-26 14:47

【摘要】：智能化是未來汽車技術(shù)發(fā)展的重要方向,而環(huán)境傳感感知是智能駕駛系統(tǒng)的重要組成部分。由于其低成本、采集信息豐富且對周圍環(huán)境和其它傳感器無影響等優(yōu)勢,車載相機一直是智能駕駛最常用的環(huán)境傳感器之一。然而基于圖像處理技術(shù)的目標識別和狀態(tài)估計仍然具有很大的挑戰(zhàn)。對車輛這一重要交通參與物的識別與狀態(tài)估計一直以來是智能駕駛系統(tǒng)的研究熱點。近些年來由于硬件計算性能的提升以及大量帶有真值標注數(shù)據(jù)集的出現(xiàn),數(shù)據(jù)驅(qū)動的深度神經(jīng)網(wǎng)絡(luò)在目標識別領(lǐng)域取得了巨大的成功。這些研究方法同樣在車輛識別中得到了廣泛的應(yīng)用。這類方法以圖像為輸入,以目標車輛在圖像坐標系下的2D包圍盒作為輸出。雖然這些研究方法同樣適用于對車輛的識別,但其研究普遍針對通用型目標檢測,并沒有為針對車輛這種特定目標進行優(yōu)化,這使得將這類方法應(yīng)用于車輛2D包圍盒檢測時并不準確,也不高效。此外,通用目標檢測器一般輸出的是圖像坐標系下車輛的2D包圍盒信息,不能產(chǎn)生智能駕駛系統(tǒng)所需目標車輛的位置、姿態(tài)和尺寸等信息,而這些信息是支持汽車智能駕駛精準決策的關(guān)鍵參數(shù)。對目標車輛進行3D包圍盒狀態(tài)估計是更加有意義的任務(wù)。通常的做法是使用諸如激光雷達等其它帶深度信息的傳感器信號并與圖像信號融合。然而激光雷達傳感器價格昂貴并不實用,使用單目相機完成這個任務(wù)很難取得令人滿意的精度,技術(shù)上具有很強的挑戰(zhàn)性,也鮮有相關(guān)的研究。基于數(shù)據(jù)驅(qū)動的深度學習方法為車輛識別與狀態(tài)估計提供了一條極好的解決途徑。但此類方法需要大量帶有標注的數(shù)據(jù)集進行模型訓練。卷積神經(jīng)網(wǎng)絡(luò)越復雜,參數(shù)越多,網(wǎng)絡(luò)可能有更高的擬合能力,但同時也需要更多的數(shù)據(jù)用于模型訓練。然而,在真實世界中采集圖像數(shù)據(jù)并對數(shù)據(jù)進行人工標注不僅十分繁瑣,而且可能導致標注不精確和不統(tǒng)一。虛擬數(shù)據(jù)是基于計算機圖形學技術(shù),通過建模與3D渲染產(chǎn)生的模擬數(shù)據(jù)。相比于真實數(shù)據(jù)集,虛擬數(shù)據(jù)集不僅生成容易,且標注準確、可自動化。隨著近年來計算機軟硬件技術(shù)的不斷發(fā)展,虛擬數(shù)據(jù)的逼真度也在不斷提高,在模型訓練上可一定程度上替代真實數(shù)據(jù)集。然而,目前的虛擬數(shù)據(jù)還遠不足以完全替代真實數(shù)據(jù)并廣泛應(yīng)用于深度學習的模型訓練,如何生成高逼真度且具有豐富內(nèi)容變化的虛擬數(shù)據(jù)集還有待于進一步研究,其各個關(guān)鍵成像因素對于最終檢測結(jié)果的影響機理尚需進一步探索。相比于2D包圍盒的標注,在圖像數(shù)據(jù)上進行3D包圍盒的標注更加困難。虛擬數(shù)據(jù)則可進行自動的3D包圍盒標注,并且標注結(jié)果統(tǒng)一且準確。雖然使用虛擬數(shù)據(jù)集進行3D包圍盒狀態(tài)估計的模型訓練具有明顯優(yōu)勢,但相關(guān)的應(yīng)用卻很少見,如何縮小虛擬數(shù)據(jù)與真實數(shù)據(jù)之間的域差,使得基于虛擬數(shù)據(jù)訓練的模型能夠在實際應(yīng)用中獲得良好的效果依然是一項挑戰(zhàn)。針對上述問題,本文對車輛的2D包圍盒檢測、3D包圍盒狀態(tài)估計和虛擬數(shù)據(jù)集的生成與應(yīng)用等開展了深入的研究。主要研究內(nèi)容如下:1.本文在原始Faster R-CNN目標檢測器的基礎(chǔ)上開展了針對車輛2D包圍盒檢測的優(yōu)化研究。在區(qū)域候選階段,本文首先通過特殊的網(wǎng)絡(luò)設(shè)計方法生成了多形狀的感受野,使得感受野的形狀更加適合于車輛2D包圍盒檢測。然后根據(jù)感受野的形狀,以成像時的透視效應(yīng)作為先驗知識,優(yōu)化了錨框的生成方式,使得錨框能夠更加精確地覆蓋真實車輛2D包圍盒,減少了無效錨框的數(shù)量。最后,在候選區(qū)域分類回歸階段,本文根據(jù)候選區(qū)域的大小和各個特征圖的特征步長,對候選區(qū)域進行了分配,使得特征圖中所包含的信息量更加適用于最后的預測。相比于傳統(tǒng)的未經(jīng)優(yōu)化的原始方法,本文提出的方法明顯地提升了檢測精度與檢測速度。2.本文在之前車輛2D包圍盒檢測的基礎(chǔ)上提出了一種新的車輛3D包圍盒狀態(tài)估計方法。本文首先利用當前單目視覺像素級深度估計方法生成深度圖,通過幾何運算方法生成了偽點云數(shù)據(jù),并結(jié)合當前基于點云數(shù)據(jù)的方法對車輛進行3D包圍盒狀態(tài)估計。本文還通過偽點云位置數(shù)據(jù)進行法向量估計,并將其應(yīng)用到車輛3D包圍盒狀態(tài)估計;實驗證明該法向量數(shù)據(jù)提升了狀態(tài)估計的性能。此外,本文還進一步提出了專門用于偽點云信號處理的自注意力模塊,對偽點云位置信息、法向量信息與RGB信息進行融合,進一步提升了狀態(tài)估計的性能。3.本文提出了一種基于域隨機化的虛擬數(shù)據(jù)集生成與標注方法,并使用虛擬數(shù)據(jù)集全部或部分替代真實數(shù)據(jù)集用于模型訓練。通過基于物理的渲染方法,虛擬圖像能夠獲得較高的逼真度。同時本文采用域隨機化方法將影響較大的成像因素參數(shù)在一定范圍內(nèi)進行隨機化處理,以豐富虛擬數(shù)據(jù)集的變化,避免模型的過擬合現(xiàn)象。真實感虛擬數(shù)據(jù)與非真實感虛擬數(shù)據(jù)都被引入以發(fā)揮各自不同的優(yōu)勢。為驗證本文提出的方法,本文設(shè)計了一組以同一車輛2D包圍盒檢測算法為測試基準的對比實驗,結(jié)果表明本文提出的虛擬數(shù)據(jù)集相較于其它虛擬數(shù)據(jù)集有著明顯的性能優(yōu)勢。此外,本文還詳細分析了各個成像因素的隨機變化對最終檢測結(jié)果的影響,以及在使用虛擬數(shù)據(jù)集進行預訓練然后采用少量真實數(shù)據(jù)集進行微調(diào)時模型所能達到的性能。4.結(jié)合本文提出的車輛3D包圍盒狀態(tài)估計方法與虛擬數(shù)據(jù)集,本文進一步研究了基于虛擬數(shù)據(jù)集的3D包圍盒狀態(tài)估計方法。由于源域虛擬數(shù)據(jù)集與目標真實數(shù)據(jù)集之間有著明顯的域差,使用虛擬數(shù)據(jù)集訓練出的網(wǎng)絡(luò)模型在實際測試中通常難以獲得良好的性能,這個問題在3D包圍盒狀態(tài)估計中尤為突出。本文一方面提出了對原始虛擬數(shù)據(jù)進行增強處理的方法,使得模型能夠?qū)W習到可以對抗干擾的特征;另一方面提出了在特征提取階段進行無監(jiān)督對抗訓練域適應(yīng)的方法,對齊源域與目標域的特征分布,從而提升了基于虛擬數(shù)據(jù)集訓練模型的性能。整個過程不需要真實數(shù)據(jù)集的3D包圍盒標注。
【圖文】：

主動控制車輛以部分取代駕駛員的駕駛操作，直至最終完全取代駕駛員操作并實現(xiàn)無人駕駛，將人這個不可靠因素從駕駛鏈中剝離。近年來大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等技術(shù)的飛速發(fā)展也極大地促進了智能車輛技術(shù)的發(fā)展，各個汽車產(chǎn)業(yè)大國以及各大相關(guān)企業(yè)也在對智能化車輛技術(shù)進行布局。從美國開始的 DARPA 智能車挑戰(zhàn)賽[2]掀開了智能化車輛技術(shù)研發(fā)的序幕，中國近年來也通過開展 “中國智能車未來挑戰(zhàn)賽”[3]等許多賽事促進相關(guān)研究。另一方面， Google[4]開發(fā)了自主駕駛車輛并進行大量的路測，取得了豐碩的成果；百度也開發(fā)了面向汽車行業(yè)及自動駕駛領(lǐng)域的 Apollo[5]軟件平臺等。種種跡象表明，車輛智能化是未來的發(fā)展趨勢。美國汽車工程協(xié)會 SAE 將自主駕駛系統(tǒng)按照其自動化程度分為六個等級[6]，分別是完全駕駛員駕駛，輔助駕駛、部分自主駕駛、有條件自主駕駛，高度自主駕駛以及最終的完全自主駕駛。雖然在當前情況下全路況的完全自主駕駛系統(tǒng)離真正產(chǎn)業(yè)化還有一段距離，但是各種類似車道保持系統(tǒng) LKS[7]，自適應(yīng)巡航系統(tǒng) ACC[8]，自動泊車系統(tǒng) AP[9]等智能輔助駕駛系統(tǒng)和部分自動駕駛系統(tǒng)已經(jīng)走入了日常生活。各種自主駕駛車輛和輔助駕駛系統(tǒng)如圖 1.1 所示。

吉林大學博士學位論文作為智能化車輛技術(shù)的重要組成部分，環(huán)境傳感感知技術(shù)一直以來都是研究重點。諸如相機[10]，毫米波雷達[11]，激光雷達[12]，超聲波雷達[13]，高精度 GPS[14]，車載通信系統(tǒng)[15]等等傳感系統(tǒng)都被用來實現(xiàn)智能化車輛技術(shù)。相機作為重要的傳感器有著其它傳感器所不具有的優(yōu)勢：成本低廉，對周圍環(huán)境和其它傳感器無干擾，同時能夠獲取非常豐富的信息，包括周圍的車輛及障礙物[16]，車道線[17]，路面標志[18]，交通信號燈[19]，行人[20]，交通標志[21]等等，如圖 1.2 所示。這些信息的識別與提取對于汽車自主駕駛至關(guān)重要。事實上，，對于人類駕駛員而言，人眼的視覺傳感在駕駛過程中是最為重要的信息來源。人類駕駛員能夠通過視覺信號對周圍的環(huán)境進行感知，識別并定位關(guān)鍵的目標，然后進行決策判斷，進而安全地控制車輛。
【學位授予單位】：吉林大學
【學位級別】：博士
【學位授予年份】：2019
【分類號】：TP18;U463.6

【相似文獻】

相關(guān)期刊論文 前10條

1 孫宏斌,張伯明,相年德;發(fā)輸配全局狀態(tài)估計[J];清華大學學報(自然科學版);1999年07期

2 韋巍;蔣靜坪;;非線性攪拌釜的自適應(yīng)狀態(tài)估計[J];化學反應(yīng)工程與工藝;1988年01期

3 邱家駒;;分布式狀態(tài)估計[J];電力系統(tǒng)自動化;1988年06期

4 蔚潤義,高為炳;關(guān)于線性定常大系統(tǒng)的局部控制與狀態(tài)估計[J];控制理論與應(yīng)用;1989年S1期

5 李志鵬;王明雨;萬茹;王洋;;電力調(diào)度狀態(tài)估計的實用技術(shù)分析與實踐探究[J];中國新通信;2019年22期

6 石倩;張葉貴;;配電網(wǎng)抗差狀態(tài)估計研究綜述[J];新型工業(yè)化;2019年06期

7 范廣民;;提高調(diào)控主站系統(tǒng)狀態(tài)估計合格率的方法研究[J];電工技術(shù);2018年10期

8 孟令愚;侯凱元;丁松;包丹;;電力系統(tǒng)運行狀態(tài)快變對狀態(tài)估計影響分析[J];東北電力技術(shù);2019年02期

9 廖利榮;蘇小三;劉佳;倪晉;張洲;丁苗;;荊門地調(diào)狀態(tài)估計應(yīng)用工作探討[J];通訊世界;2019年07期

10 劉冬;楊鏡非;孫毅斌;童開蒙;劉楊;;一種適應(yīng)含弱環(huán)網(wǎng)的配電網(wǎng)過程狀態(tài)估計算法[J];水電能源科學;2012年01期

相關(guān)會議論文 前10條

1 蔡焱;吳列;;提高電力系統(tǒng)遙測狀態(tài)估計合格率應(yīng)用研究[A];2015年江西省電機工程學會年會論文集（《江西電力》2015年11月增刊）[C];2016年

2 夏亞君;黃縉華;顧博川;劉菲;唐升衛(wèi);尤毅;;狀態(tài)估計綜合評價方法與評測工具研究[A];2018智能電網(wǎng)新技術(shù)發(fā)展與應(yīng)用研討會論文集[C];2018年

3 劉耀年;郝靜;;基于分布式抗差加權(quán)最小二乘法的狀態(tài)估計[A];第十一屆全國電工數(shù)學學術(shù)年會論文集[C];2007年

4 劉順明;劉耀年;于賀;湯德海;;基于抗差加權(quán)最小二乘法的分布式狀態(tài)估計[A];高效 清潔 安全 電力發(fā)展與和諧社會建設(shè)——吉林省電機工程學會2008年學術(shù)年會論文集[C];2008年

5 黃勇;;一種降低電網(wǎng)風險的狀態(tài)估計自動巡檢系統(tǒng)[A];電力行業(yè)信息化優(yōu)秀論文集2014——2014年全國電力行業(yè)兩化融合推進會暨全國電力企業(yè)信息化大會獲獎?wù)撐腫C];2014年

6 何青;歐陽紅林;楊民生;童調(diào)生;;基于最優(yōu)定界橢球的自適應(yīng)集員狀態(tài)估計[A];2004全國測控、計量與儀器儀表學術(shù)年會論文集（上冊）[C];2004年

7 鄧自立;許燕;;廣義系統(tǒng)非遞推狀態(tài)估計的幾種統(tǒng)一算法[A];1998年中國控制會議論文集[C];1998年

8 許燕;鄧自立;;廣義系統(tǒng)最優(yōu)遞推狀態(tài)估計[A];1998年中國控制會議論文集[C];1998年

9 楊萬波;呂北岳;楊宇星;;交通流連續(xù)模型參數(shù)辨識及在交通狀態(tài)估計中的應(yīng)用[A];2016年中國城市交通規(guī)劃年會論文集[C];2016年

10 趙海艷;陳虹;馬彥;張愛春;;測量輸出不確定約束系統(tǒng)的滾動時域狀態(tài)估計[A];PCC2009—第20屆中國過程控制會議論文集[C];2009年

相關(guān)重要報紙文章 前2條

1 屈剛;分布式建模狀態(tài)估計技術(shù)達到國際領(lǐng)先水平[N];華東電力報;2012年

2 郭洪敏 包鵬;科技創(chuàng)新領(lǐng)頭雁[N];華東電力報;2007年

相關(guān)博士學位論文 前10條

1 王也;基于深度學習與虛擬數(shù)據(jù)的車輛識別與狀態(tài)估計研究[D];吉林大學;2019年

2 張靚靚;基于模糊模型的復雜系統(tǒng)狀態(tài)估計與濾波方法研究[D];電子科技大學;2019年

3 陳海洋;部分信息缺失下離散時滯非線性系統(tǒng)的H_∞狀態(tài)估計[D];浙江大學;2018年

4 魏婧雯;儲能鋰電池系統(tǒng)狀態(tài)估計與熱故障診斷研究[D];中國科學技術(shù)大學;2019年

5 榮政;基于單目視覺的MAV狀態(tài)估計關(guān)鍵問題研究[D];北京理工大學;2017年

6 譚斐;基于擾動狀態(tài)估計的批間控制器設(shè)計與性能評估[D];江蘇大學;2018年

7 徐琛;基于噪聲分布特性的魯棒狀態(tài)估計與監(jiān)測[D];江南大學;2019年

8 梁棟;配電系統(tǒng)狀態(tài)估計研究[D];天津大學;2017年

9 劉琳;智能配電網(wǎng)多信息站域保護及狀態(tài)估計信息應(yīng)用研究[D];北京交通大學;2017年

10 汪玉潔;動力鋰電池的建模、狀態(tài)估計及管理策略研究[D];中國科學技術(shù)大學;2017年

相關(guān)碩士學位論文 前10條

1 沈亮;網(wǎng)絡(luò)化Markov跳變系統(tǒng)的狀態(tài)估計[D];安徽工業(yè)大學;2019年

2 劉長暉;分布式電力系統(tǒng)狀態(tài)估計的設(shè)計與研究[D];上海交通大學;2018年

3 殷勝榮;電力系統(tǒng)魯棒狀態(tài)估計研究及應(yīng)用[D];西華大學;2019年

4 周嘉煜;網(wǎng)絡(luò)量化系統(tǒng)的狀態(tài)估計研究[D];廣東工業(yè)大學;2019年

5 周平平;未知模糊隸屬函數(shù)條件下非線性系統(tǒng)狀態(tài)估計和故障診斷[D];南京郵電大學;2019年

6 黃沛;主動配電網(wǎng)的抗差狀態(tài)估計研究[D];廣西大學;2019年

7 Musungu Richard Amari（李查德）;光伏并網(wǎng)電力系統(tǒng)的狀態(tài)估計[D];華北電力大學(北京);2019年

8 馬鑫;交直流配電網(wǎng)狀態(tài)估計及日前調(diào)度模型研究[D];浙江大學;2019年

9 任星;配電網(wǎng)分布式狀態(tài)估計研究[D];鄭州大學;2019年

10 費亞龍;車載動力電池組全生命周期在線管理與狀態(tài)估計研究[D];武漢理工大學;2018年

本文編號：2601585