發(fā)布時(shí)間：2020-03-26 14:47

【摘要】：智能化是未來(lái)汽車技術(shù)發(fā)展的重要方向,而環(huán)境傳感感知是智能駕駛系統(tǒng)的重要組成部分。由于其低成本、采集信息豐富且對(duì)周圍環(huán)境和其它傳感器無(wú)影響等優(yōu)勢(shì),車載相機(jī)一直是智能駕駛最常用的環(huán)境傳感器之一。然而基于圖像處理技術(shù)的目標(biāo)識(shí)別和狀態(tài)估計(jì)仍然具有很大的挑戰(zhàn)。對(duì)車輛這一重要交通參與物的識(shí)別與狀態(tài)估計(jì)一直以來(lái)是智能駕駛系統(tǒng)的研究熱點(diǎn)。近些年來(lái)由于硬件計(jì)算性能的提升以及大量帶有真值標(biāo)注數(shù)據(jù)集的出現(xiàn),數(shù)據(jù)驅(qū)動(dòng)的深度神經(jīng)網(wǎng)絡(luò)在目標(biāo)識(shí)別領(lǐng)域取得了巨大的成功。這些研究方法同樣在車輛識(shí)別中得到了廣泛的應(yīng)用。這類方法以圖像為輸入,以目標(biāo)車輛在圖像坐標(biāo)系下的2D包圍盒作為輸出。雖然這些研究方法同樣適用于對(duì)車輛的識(shí)別,但其研究普遍針對(duì)通用型目標(biāo)檢測(cè),并沒有為針對(duì)車輛這種特定目標(biāo)進(jìn)行優(yōu)化,這使得將這類方法應(yīng)用于車輛2D包圍盒檢測(cè)時(shí)并不準(zhǔn)確,也不高效。此外,通用目標(biāo)檢測(cè)器一般輸出的是圖像坐標(biāo)系下車輛的2D包圍盒信息,不能產(chǎn)生智能駕駛系統(tǒng)所需目標(biāo)車輛的位置、姿態(tài)和尺寸等信息,而這些信息是支持汽車智能駕駛精準(zhǔn)決策的關(guān)鍵參數(shù)。對(duì)目標(biāo)車輛進(jìn)行3D包圍盒狀態(tài)估計(jì)是更加有意義的任務(wù)。通常的做法是使用諸如激光雷達(dá)等其它帶深度信息的傳感器信號(hào)并與圖像信號(hào)融合。然而激光雷達(dá)傳感器價(jià)格昂貴并不實(shí)用,使用單目相機(jī)完成這個(gè)任務(wù)很難取得令人滿意的精度,技術(shù)上具有很強(qiáng)的挑戰(zhàn)性,也鮮有相關(guān)的研究�；�于數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法為車輛識(shí)別與狀態(tài)估計(jì)提供了一條極好的解決途徑。但此類方法需要大量帶有標(biāo)注的數(shù)據(jù)集進(jìn)行模型訓(xùn)練。卷積神經(jīng)網(wǎng)絡(luò)越復(fù)雜,參數(shù)越多,網(wǎng)絡(luò)可能有更高的擬合能力,但同時(shí)也需要更多的數(shù)據(jù)用于模型訓(xùn)練。然而,在真實(shí)世界中采集圖像數(shù)據(jù)并對(duì)數(shù)據(jù)進(jìn)行人工標(biāo)注不僅十分繁瑣,而且可能導(dǎo)致標(biāo)注不精確和不統(tǒng)一。虛擬數(shù)據(jù)是基于計(jì)算機(jī)圖形學(xué)技術(shù),通過建模與3D渲染產(chǎn)生的模擬數(shù)據(jù)。相比于真實(shí)數(shù)據(jù)集,虛擬數(shù)據(jù)集不僅生成容易,且標(biāo)注準(zhǔn)確、可自動(dòng)化。隨著近年來(lái)計(jì)算機(jī)軟硬件技術(shù)的不斷發(fā)展,虛擬數(shù)據(jù)的逼真度也在不斷提高,在模型訓(xùn)練上可一定程度上替代真實(shí)數(shù)據(jù)集。然而,目前的虛擬數(shù)據(jù)還遠(yuǎn)不足以完全替代真實(shí)數(shù)據(jù)并廣泛應(yīng)用于深度學(xué)習(xí)的模型訓(xùn)練,如何生成高逼真度且具有豐富內(nèi)容變化的虛擬數(shù)據(jù)集還有待于進(jìn)一步研究,其各個(gè)關(guān)鍵成像因素對(duì)于最終檢測(cè)結(jié)果的影響機(jī)理尚需進(jìn)一步探索。相比于2D包圍盒的標(biāo)注,在圖像數(shù)據(jù)上進(jìn)行3D包圍盒的標(biāo)注更加困難。虛擬數(shù)據(jù)則可進(jìn)行自動(dòng)的3D包圍盒標(biāo)注,并且標(biāo)注結(jié)果統(tǒng)一且準(zhǔn)確。雖然使用虛擬數(shù)據(jù)集進(jìn)行3D包圍盒狀態(tài)估計(jì)的模型訓(xùn)練具有明顯優(yōu)勢(shì),但相關(guān)的應(yīng)用卻很少見,如何縮小虛擬數(shù)據(jù)與真實(shí)數(shù)據(jù)之間的域差,使得基于虛擬數(shù)據(jù)訓(xùn)練的模型能夠在實(shí)際應(yīng)用中獲得良好的效果依然是一項(xiàng)挑戰(zhàn)。針對(duì)上述問題,本文對(duì)車輛的2D包圍盒檢測(cè)、3D包圍盒狀態(tài)估計(jì)和虛擬數(shù)據(jù)集的生成與應(yīng)用等開展了深入的研究。主要研究?jī)?nèi)容如下:1.本文在原始Faster R-CNN目標(biāo)檢測(cè)器的基礎(chǔ)上開展了針對(duì)車輛2D包圍盒檢測(cè)的優(yōu)化研究。在區(qū)域候選階段,本文首先通過特殊的網(wǎng)絡(luò)設(shè)計(jì)方法生成了多形狀的感受野,使得感受野的形狀更加適合于車輛2D包圍盒檢測(cè)。然后根據(jù)感受野的形狀,以成像時(shí)的透視效應(yīng)作為先驗(yàn)知識(shí),優(yōu)化了錨框的生成方式,使得錨框能夠更加精確地覆蓋真實(shí)車輛2D包圍盒,減少了無(wú)效錨框的數(shù)量。最后,在候選區(qū)域分類回歸階段,本文根據(jù)候選區(qū)域的大小和各個(gè)特征圖的特征步長(zhǎng),對(duì)候選區(qū)域進(jìn)行了分配,使得特征圖中所包含的信息量更加適用于最后的預(yù)測(cè)。相比于傳統(tǒng)的未經(jīng)優(yōu)化的原始方法,本文提出的方法明顯地提升了檢測(cè)精度與檢測(cè)速度。2.本文在之前車輛2D包圍盒檢測(cè)的基礎(chǔ)上提出了一種新的車輛3D包圍盒狀態(tài)估計(jì)方法。本文首先利用當(dāng)前單目視覺像素級(jí)深度估計(jì)方法生成深度圖,通過幾何運(yùn)算方法生成了偽點(diǎn)云數(shù)據(jù),并結(jié)合當(dāng)前基于點(diǎn)云數(shù)據(jù)的方法對(duì)車輛進(jìn)行3D包圍盒狀態(tài)估計(jì)。本文還通過偽點(diǎn)云位置數(shù)據(jù)進(jìn)行法向量估計(jì),并將其應(yīng)用到車輛3D包圍盒狀態(tài)估計(jì);實(shí)驗(yàn)證明該法向量數(shù)據(jù)提升了狀態(tài)估計(jì)的性能。此外,本文還進(jìn)一步提出了專門用于偽點(diǎn)云信號(hào)處理的自注意力模塊,對(duì)偽點(diǎn)云位置信息、法向量信息與RGB信息進(jìn)行融合,進(jìn)一步提升了狀態(tài)估計(jì)的性能。3.本文提出了一種基于域隨機(jī)化的虛擬數(shù)據(jù)集生成與標(biāo)注方法,并使用虛擬數(shù)據(jù)集全部或部分替代真實(shí)數(shù)據(jù)集用于模型訓(xùn)練。通過基于物理的渲染方法,虛擬圖像能夠獲得較高的逼真度。同時(shí)本文采用域隨機(jī)化方法將影響較大的成像因素參數(shù)在一定范圍內(nèi)進(jìn)行隨機(jī)化處理,以豐富虛擬數(shù)據(jù)集的變化,避免模型的過擬合現(xiàn)象。真實(shí)感虛擬數(shù)據(jù)與非真實(shí)感虛擬數(shù)據(jù)都被引入以發(fā)揮各自不同的優(yōu)勢(shì)。為驗(yàn)證本文提出的方法,本文設(shè)計(jì)了一組以同一車輛2D包圍盒檢測(cè)算法為測(cè)試基準(zhǔn)的對(duì)比實(shí)驗(yàn),結(jié)果表明本文提出的虛擬數(shù)據(jù)集相較于其它虛擬數(shù)據(jù)集有著明顯的性能優(yōu)勢(shì)。此外,本文還詳細(xì)分析了各個(gè)成像因素的隨機(jī)變化對(duì)最終檢測(cè)結(jié)果的影響,以及在使用虛擬數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練然后采用少量真實(shí)數(shù)據(jù)集進(jìn)行微調(diào)時(shí)模型所能達(dá)到的性能。4.結(jié)合本文提出的車輛3D包圍盒狀態(tài)估計(jì)方法與虛擬數(shù)據(jù)集,本文進(jìn)一步研究了基于虛擬數(shù)據(jù)集的3D包圍盒狀態(tài)估計(jì)方法。由于源域虛擬數(shù)據(jù)集與目標(biāo)真實(shí)數(shù)據(jù)集之間有著明顯的域差,使用虛擬數(shù)據(jù)集訓(xùn)練出的網(wǎng)絡(luò)模型在實(shí)際測(cè)試中通常難以獲得良好的性能,這個(gè)問題在3D包圍盒狀態(tài)估計(jì)中尤為突出。本文一方面提出了對(duì)原始虛擬數(shù)據(jù)進(jìn)行增強(qiáng)處理的方法,使得模型能夠?qū)W習(xí)到可以對(duì)抗干擾的特征;另一方面提出了在特征提取階段進(jìn)行無(wú)監(jiān)督對(duì)抗訓(xùn)練域適應(yīng)的方法,對(duì)齊源域與目標(biāo)域的特征分布,從而提升了基于虛擬數(shù)據(jù)集訓(xùn)練模型的性能。整個(gè)過程不需要真實(shí)數(shù)據(jù)集的3D包圍盒標(biāo)注。
【圖文】：

主動(dòng)控制車輛以部分取代駕駛員的駕駛操作，直至最終完全取代駕駛員操作并實(shí)現(xiàn)無(wú)人駕駛，將人這個(gè)不可靠因素從駕駛鏈中剝離。近年來(lái)大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等技術(shù)的飛速發(fā)展也極大地促進(jìn)了智能車輛技術(shù)的發(fā)展，各個(gè)汽車產(chǎn)業(yè)大國(guó)以及各大相關(guān)企業(yè)也在對(duì)智能化車輛技術(shù)進(jìn)行布局。從美國(guó)開始的 DARPA 智能車挑戰(zhàn)賽[2]掀開了智能化車輛技術(shù)研發(fā)的序幕，中國(guó)近年來(lái)也通過開展 “中國(guó)智能車未來(lái)挑戰(zhàn)賽”[3]等許多賽事促進(jìn)相關(guān)研究。另一方面， Google[4]開發(fā)了自主駕駛車輛并進(jìn)行大量的路測(cè)，取得了豐碩的成果；百度也開發(fā)了面向汽車行業(yè)及自動(dòng)駕駛領(lǐng)域的 Apollo[5]軟件平臺(tái)等。種種跡象表明，車輛智能化是未來(lái)的發(fā)展趨勢(shì)。美國(guó)汽車工程協(xié)會(huì) SAE 將自主駕駛系統(tǒng)按照其自動(dòng)化程度分為六個(gè)等級(jí)[6]，分別是完全駕駛員駕駛，輔助駕駛、部分自主駕駛、有條件自主駕駛，高度自主駕駛以及最終的完全自主駕駛。雖然在當(dāng)前情況下全路況的完全自主駕駛系統(tǒng)離真正產(chǎn)業(yè)化還有一段距離，但是各種類似車道保持系統(tǒng) LKS[7]，自適應(yīng)巡航系統(tǒng) ACC[8]，自動(dòng)泊車系統(tǒng) AP[9]等智能輔助駕駛系統(tǒng)和部分自動(dòng)駕駛系統(tǒng)已經(jīng)走入了日常生活。各種自主駕駛車輛和輔助駕駛系統(tǒng)如圖 1.1 所示。

吉林大學(xué)博士學(xué)位論文作為智能化車輛技術(shù)的重要組成部分，環(huán)境傳感感知技術(shù)一直以來(lái)都是研究重點(diǎn)。諸如相機(jī)[10]，毫米波雷達(dá)[11]，激光雷達(dá)[12]，超聲波雷達(dá)[13]，高精度 GPS[14]，車載通信系統(tǒng)[15]等等傳感系統(tǒng)都被用來(lái)實(shí)現(xiàn)智能化車輛技術(shù)。相機(jī)作為重要的傳感器有著其它傳感器所不具有的優(yōu)勢(shì)：成本低廉，對(duì)周圍環(huán)境和其它傳感器無(wú)干擾，同時(shí)能夠獲取非常豐富的信息，包括周圍的車輛及障礙物[16]，車道線[17]，路面標(biāo)志[18]，交通信號(hào)燈[19]，行人[20]，交通標(biāo)志[21]等等，如圖 1.2 所示。這些信息的識(shí)別與提取對(duì)于汽車自主駕駛至關(guān)重要。事實(shí)上，，對(duì)于人類駕駛員而言，人眼的視覺傳感在駕駛過程中是最為重要的信息來(lái)源。人類駕駛員能夠通過視覺信號(hào)對(duì)周圍的環(huán)境進(jìn)行感知，識(shí)別并定位關(guān)鍵的目標(biāo)，然后進(jìn)行決策判斷，進(jìn)而安全地控制車輛。
【學(xué)位授予單位】：吉林大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP18;U463.6

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孫宏斌,張伯明,相年德;發(fā)輸配全局狀態(tài)估計(jì)[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);1999年07期

2 韋巍;蔣靜坪;;非線性攪拌釜的自適應(yīng)狀態(tài)估計(jì)[J];化學(xué)反應(yīng)工程與工藝;1988年01期

3 邱家駒;;分布式狀態(tài)估計(jì)[J];電力系統(tǒng)自動(dòng)化;1988年06期

4 蔚潤(rùn)義,高為炳;關(guān)于線性定常大系統(tǒng)的局部控制與狀態(tài)估計(jì)[J];控制理論與應(yīng)用;1989年S1期

5 李志鵬;王明雨;萬(wàn)茹;王洋;;電力調(diào)度狀態(tài)估計(jì)的實(shí)用技術(shù)分析與實(shí)踐探究[J];中國(guó)新通信;2019年22期

6 石倩;張葉貴;;配電網(wǎng)抗差狀態(tài)估計(jì)研究綜述[J];新型工業(yè)化;2019年06期

7 范廣民;;提高調(diào)控主站系統(tǒng)狀態(tài)估計(jì)合格率的方法研究[J];電工技術(shù);2018年10期

8 孟令愚;侯凱元;丁松;包丹;;電力系統(tǒng)運(yùn)行狀態(tài)快變對(duì)狀態(tài)估計(jì)影響分析[J];東北電力技術(shù);2019年02期

9 廖利榮;蘇小三;劉佳;倪晉;張洲;丁苗;;荊門地調(diào)狀態(tài)估計(jì)應(yīng)用工作探討[J];通訊世界;2019年07期

10 劉冬;楊鏡非;孫毅斌;童開蒙;劉楊;;一種適應(yīng)含弱環(huán)網(wǎng)的配電網(wǎng)過程狀態(tài)估計(jì)算法[J];水電能源科學(xué);2012年01期

相關(guān)會(huì)議論文 前10條

1 蔡焱;吳列;;提高電力系統(tǒng)遙測(cè)狀態(tài)估計(jì)合格率應(yīng)用研究[A];2015年江西省電機(jī)工程學(xué)會(huì)年會(huì)論文集（《江西電力》2015年11月增刊）[C];2016年

2 夏亞君;黃縉華;顧博川;劉菲;唐升衛(wèi);尤毅;;狀態(tài)估計(jì)綜合評(píng)價(jià)方法與評(píng)測(cè)工具研究[A];2018智能電網(wǎng)新技術(shù)發(fā)展與應(yīng)用研討會(huì)論文集[C];2018年

3 劉耀年;郝靜;;基于分布式抗差加權(quán)最小二乘法的狀態(tài)估計(jì)[A];第十一屆全國(guó)電工數(shù)學(xué)學(xué)術(shù)年會(huì)論文集[C];2007年

4 劉順明;劉耀年;于賀;湯德海;;基于抗差加權(quán)最小二乘法的分布式狀態(tài)估計(jì)[A];高效 清潔 安全 電力發(fā)展與和諧社會(huì)建設(shè)——吉林省電機(jī)工程學(xué)會(huì)2008年學(xué)術(shù)年會(huì)論文集[C];2008年

5 黃勇;;一種降低電網(wǎng)風(fēng)險(xiǎn)的狀態(tài)估計(jì)自動(dòng)巡檢系統(tǒng)[A];電力行業(yè)信息化優(yōu)秀論文集2014——2014年全國(guó)電力行業(yè)兩化融合推進(jìn)會(huì)暨全國(guó)電力企業(yè)信息化大會(huì)獲獎(jiǎng)?wù)撐腫C];2014年

6 何青;歐陽(yáng)紅林;楊民生;童調(diào)生;;基于最優(yōu)定界橢球的自適應(yīng)集員狀態(tài)估計(jì)[A];2004全國(guó)測(cè)控、計(jì)量與儀器儀表學(xué)術(shù)年會(huì)論文集（上冊(cè)）[C];2004年

7 鄧自立;許燕;;廣義系統(tǒng)非遞推狀態(tài)估計(jì)的幾種統(tǒng)一算法[A];1998年中國(guó)控制會(huì)議論文集[C];1998年

8 許燕;鄧自立;;廣義系統(tǒng)最優(yōu)遞推狀態(tài)估計(jì)[A];1998年中國(guó)控制會(huì)議論文集[C];1998年

9 楊萬(wàn)波;呂北岳;楊宇星;;交通流連續(xù)模型參數(shù)辨識(shí)及在交通狀態(tài)估計(jì)中的應(yīng)用[A];2016年中國(guó)城市交通規(guī)劃年會(huì)論文集[C];2016年

10 趙海艷;陳虹;馬彥;張愛春;;測(cè)量輸出不確定約束系統(tǒng)的滾動(dòng)時(shí)域狀態(tài)估計(jì)[A];PCC2009—第20屆中國(guó)過程控制會(huì)議論文集[C];2009年

相關(guān)重要報(bào)紙文章 前2條

1 屈剛;分布式建模狀態(tài)估計(jì)技術(shù)達(dá)到國(guó)際領(lǐng)先水平[N];華東電力報(bào);2012年

2 郭洪敏 包鵬;科技創(chuàng)新領(lǐng)頭雁[N];華東電力報(bào);2007年

相關(guān)博士學(xué)位論文 前10條

1 王也;基于深度學(xué)習(xí)與虛擬數(shù)據(jù)的車輛識(shí)別與狀態(tài)估計(jì)研究[D];吉林大學(xué);2019年

2 張靚靚;基于模糊模型的復(fù)雜系統(tǒng)狀態(tài)估計(jì)與濾波方法研究[D];電子科技大學(xué);2019年

3 陳海洋;部分信息缺失下離散時(shí)滯非線性系統(tǒng)的H_∞狀態(tài)估計(jì)[D];浙江大學(xué);2018年

4 魏婧雯;儲(chǔ)能鋰電池系統(tǒng)狀態(tài)估計(jì)與熱故障診斷研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2019年

5 榮政;基于單目視覺的MAV狀態(tài)估計(jì)關(guān)鍵問題研究[D];北京理工大學(xué);2017年

6 譚斐;基于擾動(dòng)狀態(tài)估計(jì)的批間控制器設(shè)計(jì)與性能評(píng)估[D];江蘇大學(xué);2018年

7 徐琛;基于噪聲分布特性的魯棒狀態(tài)估計(jì)與監(jiān)測(cè)[D];江南大學(xué);2019年

8 梁棟;配電系統(tǒng)狀態(tài)估計(jì)研究[D];天津大學(xué);2017年

9 劉琳;智能配電網(wǎng)多信息站域保護(hù)及狀態(tài)估計(jì)信息應(yīng)用研究[D];北京交通大學(xué);2017年

10 汪玉潔;動(dòng)力鋰電池的建模、狀態(tài)估計(jì)及管理策略研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2017年

相關(guān)碩士學(xué)位論文 前10條

1 沈亮;網(wǎng)絡(luò)化Markov跳變系統(tǒng)的狀態(tài)估計(jì)[D];安徽工業(yè)大學(xué);2019年

2 劉長(zhǎng)暉;分布式電力系統(tǒng)狀態(tài)估計(jì)的設(shè)計(jì)與研究[D];上海交通大學(xué);2018年

3 殷勝榮;電力系統(tǒng)魯棒狀態(tài)估計(jì)研究及應(yīng)用[D];西華大學(xué);2019年

4 周嘉煜;網(wǎng)絡(luò)量化系統(tǒng)的狀態(tài)估計(jì)研究[D];廣東工業(yè)大學(xué);2019年

5 周平平;未知模糊隸屬函數(shù)條件下非線性系統(tǒng)狀態(tài)估計(jì)和故障診斷[D];南京郵電大學(xué);2019年

6 黃沛;主動(dòng)配電網(wǎng)的抗差狀態(tài)估計(jì)研究[D];廣西大學(xué);2019年

7 Musungu Richard Amari（李查德）;光伏并網(wǎng)電力系統(tǒng)的狀態(tài)估計(jì)[D];華北電力大學(xué)(北京);2019年

8 馬鑫;交直流配電網(wǎng)狀態(tài)估計(jì)及日前調(diào)度模型研究[D];浙江大學(xué);2019年

9 任星;配電網(wǎng)分布式狀態(tài)估計(jì)研究[D];鄭州大學(xué);2019年

10 費(fèi)亞龍;車載動(dòng)力電池組全生命周期在線管理與狀態(tài)估計(jì)研究[D];武漢理工大學(xué);2018年

本文編號(hào)：2601585