分布式變分貝葉斯算法及其應(yīng)用
發(fā)布時(shí)間:2020-04-08 06:06
【摘要】:隨著現(xiàn)代通信技術(shù)、嵌入式系統(tǒng)、分布式計(jì)算系統(tǒng)的蓬勃發(fā)展,傳感器網(wǎng)絡(luò)上的分布式信息處理受到了越來(lái)越廣泛的關(guān)注。為實(shí)現(xiàn)傳感器網(wǎng)絡(luò)上更加可靠更加魯棒的信息處理,完全去中心化的分布式處理機(jī)制逐漸被提出。在本文,我們考慮網(wǎng)絡(luò)中的各節(jié)點(diǎn)使用自身采集的數(shù)據(jù)進(jìn)行局部計(jì)算,并且與鄰居節(jié)點(diǎn)進(jìn)行少量的信息交換,從而實(shí)現(xiàn)完全去中心化的分布式信息處理。在當(dāng)前的分布式信息處理的算法研究中,數(shù)據(jù)建模主要分為兩種模式:頻率建模和貝葉斯建模;陬l率建模的分布式算法已被廣泛研究,而基于貝葉斯建模的分布式算法則相對(duì)較少。一方面是由于貝葉斯模型本身相較于非貝葉斯模型會(huì)更復(fù)雜,研究的難度更高;另一方面是由于貝葉斯模型中的參數(shù)估計(jì)和推斷問(wèn)題往往是非常困難的。雖然存在困難,但貝葉斯建模具有許多優(yōu)點(diǎn)。首先,貝葉斯方法基于概率論能夠?qū)δP徒Y(jié)構(gòu)、參數(shù)和數(shù)據(jù)噪聲的不確定性進(jìn)行建模。其次,通過(guò)貝葉斯法則我們能夠推斷未知參數(shù)、調(diào)整模型、從數(shù)據(jù)中學(xué)習(xí)并作出預(yù)測(cè)。關(guān)于分布式貝葉斯學(xué)習(xí)的研究具有很高的學(xué)術(shù)和應(yīng)用價(jià)值。然而在貝葉斯學(xué)習(xí)中,后驗(yàn)概率的計(jì)算通常存在困難。一種經(jīng)典且廣泛使用的近似方法是變分貝葉斯。本文針對(duì)網(wǎng)絡(luò)上的貝葉斯學(xué)習(xí)問(wèn)題,系統(tǒng)地研究了分布式變分貝葉斯算法及其在聯(lián)合稀疏信號(hào)恢復(fù)、魯棒卡爾曼濾波和擴(kuò)展目標(biāo)跟蹤問(wèn)題中的應(yīng)用。具體地,針對(duì)貝葉斯框架下的分布式推斷/估計(jì)問(wèn)題,本文提出了兩種通用的分布式變分貝葉斯算法,可適用于一大類(lèi)共軛指數(shù)族模型。我們基于概率空間的黎曼幾何,將關(guān)于概率分布的優(yōu)化問(wèn)題轉(zhuǎn)化關(guān)于自然參數(shù)向量的優(yōu)化問(wèn)題。然后基于隨機(jī)自然梯度和擴(kuò)散策略,以及基于交替方向乘子法(ADMM),分別對(duì)優(yōu)化問(wèn)題進(jìn)行求解。我們將這兩種算法應(yīng)用于貝葉斯高斯混合模型的分布式推斷/估計(jì)問(wèn)題中。仿真結(jié)果表明,本文提出的分布式算法具有與相對(duì)應(yīng)的集中式算法相接近的性能。針對(duì)分布式聯(lián)合稀疏信號(hào)恢復(fù)問(wèn)題,本文提出了一種基于量化通信的聯(lián)合稀疏貝葉斯學(xué)習(xí)算法。在以往的工作中,一般假設(shè)節(jié)點(diǎn)間的傳輸數(shù)據(jù)是實(shí)值的并且具有無(wú)限精度。但實(shí)際情況下,由于傳感器網(wǎng)絡(luò)具有有限的通信帶寬和信道容量,對(duì)傳輸數(shù)據(jù)進(jìn)行數(shù)字量化不可避免。本文考慮傳輸數(shù)據(jù)是被量化的。我們建立了一個(gè)完全層次聯(lián)合稀疏貝葉斯學(xué)習(xí)模型,并提出一個(gè)新的分布式變分貝葉斯算法,其節(jié)點(diǎn)間僅交換量化數(shù)據(jù)。我們從理論上分析了該量化分布式算法的收斂性。仿真實(shí)驗(yàn)表明,量化分布式算法甚至比相對(duì)應(yīng)的非量化分布式算法和集中式算法具有更好的信號(hào)恢復(fù)性能。針對(duì)分布式卡爾曼濾波問(wèn)題,本文考慮了過(guò)程和量測(cè)噪聲的協(xié)方差都是未知的情況,提出了一種分布式且在線(xiàn)的魯棒卡爾曼濾波算法。我們引入了一個(gè)改進(jìn)的狀態(tài)空間模型并提出了相應(yīng)的貝葉斯模型。該模型能夠處理野值和重尾噪聲,并且能提高卡爾曼濾波器的魯棒性。使用此模型,我們通過(guò)變分貝葉斯方法推導(dǎo)了集中式的魯棒卡爾曼濾波。然后使用ADMM方法將其擴(kuò)展到分布式場(chǎng)景下。仿真實(shí)驗(yàn)表明,當(dāng)測(cè)量數(shù)據(jù)或目標(biāo)狀態(tài)存在野值時(shí),該分布式魯棒卡爾曼濾波算法比標(biāo)準(zhǔn)的卡爾曼濾波算法性能好得多。針對(duì)目標(biāo)跟蹤問(wèn)題,傳統(tǒng)的方法一般假設(shè)目標(biāo)是一個(gè)點(diǎn)目標(biāo)。在本文,我們考慮目標(biāo)是具有一定空間結(jié)構(gòu)的物體,其不僅包括運(yùn)動(dòng)狀態(tài)還包括物體的輪廓。針對(duì)傳感器網(wǎng)絡(luò)中的擴(kuò)展目標(biāo)跟蹤問(wèn)題,我們提出一種分布式貝葉斯模型;谠撃P,我們先通過(guò)變分貝葉斯方法推導(dǎo)了一個(gè)集中式的擴(kuò)展目標(biāo)跟蹤算法,然后基于ADMM提出了相應(yīng)的分布式算法。該算法能夠同時(shí)估計(jì)擴(kuò)展目標(biāo)狀態(tài)(運(yùn)動(dòng)狀態(tài)和輪廓)以及量測(cè)噪聲協(xié)方差。最后,仿真實(shí)驗(yàn)表明,該算法在擴(kuò)展目標(biāo)跟蹤和群目標(biāo)跟蹤兩個(gè)場(chǎng)景下都有上佳的性能表現(xiàn)。
【圖文】:
在傳統(tǒng)的集中式處理機(jī)制中,一般需要一個(gè)具有強(qiáng)大計(jì)算能力和數(shù)據(jù)存儲(chǔ)能力的中心逡逑節(jié)點(diǎn)(中央處理點(diǎn)),它能夠采集并存儲(chǔ)傳感器網(wǎng)絡(luò)中所有節(jié)點(diǎn)的觀測(cè)數(shù)據(jù),并進(jìn)行信息逡逑處理。如圖1.1所示,由于傳感器節(jié)點(diǎn)自身能量和帶寬的限制,其通信范圍受限,需要通過(guò)逡逑多跳的方式才能把觀測(cè)數(shù)據(jù)傳輸?shù)街行墓?jié)點(diǎn)。這種集中式處理方式所需要的通信量較大,逡逑每個(gè)傳感器節(jié)點(diǎn)的通信耗能高,因而會(huì)降低節(jié)點(diǎn)的使用壽命。此外,當(dāng)某個(gè)節(jié)點(diǎn)失效或者逡逑通信鏈路出現(xiàn)故障時(shí),這種集中式處理方式將易受到影響,網(wǎng)絡(luò)的魯棒性較差。由于各節(jié)逡逑點(diǎn)都將原始數(shù)據(jù)傳送到一個(gè)中心節(jié)點(diǎn)上,數(shù)據(jù)的隱私性無(wú)法得到保證,因此無(wú)線(xiàn)傳感器網(wǎng)逡逑絡(luò)的可靠性較差。逡逑與傳統(tǒng)的集中式處理相比,一種更可靠更魯棒的方式是分布式信息處理。這種分布式逡逑處理不需要一個(gè)具有強(qiáng)大計(jì)算能力的中心節(jié)點(diǎn)。在這種模式下,網(wǎng)絡(luò)中的各節(jié)點(diǎn)使用自身逡逑采集的數(shù)據(jù)進(jìn)行局部計(jì)算,并與鄰居節(jié)點(diǎn)相互通信,交換少量的數(shù)據(jù)信息。傳感器節(jié)點(diǎn)組逡逑成網(wǎng)絡(luò)后
定義1(圖,節(jié)點(diǎn),邊).一個(gè)大小為iV的網(wǎng)絡(luò)表示為包括iV個(gè)節(jié)點(diǎn)的圖。一系列的邊將節(jié)點(diǎn)逡逑與節(jié)點(diǎn)相互連接。一個(gè)連向自身節(jié)點(diǎn)的邊稱(chēng)為自環(huán)。通過(guò)邊相連的節(jié)點(diǎn)稱(chēng)為鄰居節(jié)點(diǎn)。逡逑圖1.2給出了一個(gè)分布式信息處理的網(wǎng)絡(luò)拓?fù)涫疽鈭D。分布式信息處理是完全去中心逡逑化的,每個(gè)節(jié)點(diǎn)只與鄰居節(jié)點(diǎn)通信并交換信息,并不會(huì)通過(guò)多跳通信的方式將信息傳遞到逡逑非鄰居節(jié)點(diǎn)。本文考慮連通的傳感器網(wǎng)絡(luò)。對(duì)于一個(gè)連通網(wǎng)絡(luò),總是存在一條路徑能夠連逡逑接網(wǎng)絡(luò)中的兩個(gè)節(jié)點(diǎn):即兩個(gè)節(jié)點(diǎn)或者是通過(guò)一條邊相連接,或者是通過(guò)經(jīng)過(guò)中間節(jié)點(diǎn)的逡逑路徑相連接。因此,雖然節(jié)點(diǎn)未直接與非鄰居節(jié)點(diǎn)通信,但由于網(wǎng)絡(luò)是連通的,通過(guò)一定逡逑的信息交換機(jī)制,節(jié)點(diǎn)可以借助其鄰居節(jié)點(diǎn)將自身信息擴(kuò)散到其他非鄰居節(jié)點(diǎn),同時(shí)該節(jié)逡逑點(diǎn)也可以獲取來(lái)自非鄰居節(jié)點(diǎn)的信息。逡逑分布式信息處理就是在這種完全去中心的網(wǎng)絡(luò)中進(jìn)行感知計(jì)算。一個(gè)設(shè)計(jì)良好的分布逡逑式算法能夠獲得與集中式算法接近的性能,同時(shí)保留所有網(wǎng)絡(luò)中分布式計(jì)算的優(yōu)勢(shì)。總結(jié)逡逑一下,與集中式處理機(jī)制相比,分布式處理機(jī)制有如下四個(gè)優(yōu)點(diǎn):逡逑1)網(wǎng)絡(luò)通信量小。逡逑在傳統(tǒng)的集中式處理機(jī)制中
【學(xué)位授予單位】:浙江大學(xué)
【學(xué)位級(jí)別】:博士
【學(xué)位授予年份】:2018
【分類(lèi)號(hào)】:TP212.9
本文編號(hào):2618995
【圖文】:
在傳統(tǒng)的集中式處理機(jī)制中,一般需要一個(gè)具有強(qiáng)大計(jì)算能力和數(shù)據(jù)存儲(chǔ)能力的中心逡逑節(jié)點(diǎn)(中央處理點(diǎn)),它能夠采集并存儲(chǔ)傳感器網(wǎng)絡(luò)中所有節(jié)點(diǎn)的觀測(cè)數(shù)據(jù),并進(jìn)行信息逡逑處理。如圖1.1所示,由于傳感器節(jié)點(diǎn)自身能量和帶寬的限制,其通信范圍受限,需要通過(guò)逡逑多跳的方式才能把觀測(cè)數(shù)據(jù)傳輸?shù)街行墓?jié)點(diǎn)。這種集中式處理方式所需要的通信量較大,逡逑每個(gè)傳感器節(jié)點(diǎn)的通信耗能高,因而會(huì)降低節(jié)點(diǎn)的使用壽命。此外,當(dāng)某個(gè)節(jié)點(diǎn)失效或者逡逑通信鏈路出現(xiàn)故障時(shí),這種集中式處理方式將易受到影響,網(wǎng)絡(luò)的魯棒性較差。由于各節(jié)逡逑點(diǎn)都將原始數(shù)據(jù)傳送到一個(gè)中心節(jié)點(diǎn)上,數(shù)據(jù)的隱私性無(wú)法得到保證,因此無(wú)線(xiàn)傳感器網(wǎng)逡逑絡(luò)的可靠性較差。逡逑與傳統(tǒng)的集中式處理相比,一種更可靠更魯棒的方式是分布式信息處理。這種分布式逡逑處理不需要一個(gè)具有強(qiáng)大計(jì)算能力的中心節(jié)點(diǎn)。在這種模式下,網(wǎng)絡(luò)中的各節(jié)點(diǎn)使用自身逡逑采集的數(shù)據(jù)進(jìn)行局部計(jì)算,并與鄰居節(jié)點(diǎn)相互通信,交換少量的數(shù)據(jù)信息。傳感器節(jié)點(diǎn)組逡逑成網(wǎng)絡(luò)后
定義1(圖,節(jié)點(diǎn),邊).一個(gè)大小為iV的網(wǎng)絡(luò)表示為包括iV個(gè)節(jié)點(diǎn)的圖。一系列的邊將節(jié)點(diǎn)逡逑與節(jié)點(diǎn)相互連接。一個(gè)連向自身節(jié)點(diǎn)的邊稱(chēng)為自環(huán)。通過(guò)邊相連的節(jié)點(diǎn)稱(chēng)為鄰居節(jié)點(diǎn)。逡逑圖1.2給出了一個(gè)分布式信息處理的網(wǎng)絡(luò)拓?fù)涫疽鈭D。分布式信息處理是完全去中心逡逑化的,每個(gè)節(jié)點(diǎn)只與鄰居節(jié)點(diǎn)通信并交換信息,并不會(huì)通過(guò)多跳通信的方式將信息傳遞到逡逑非鄰居節(jié)點(diǎn)。本文考慮連通的傳感器網(wǎng)絡(luò)。對(duì)于一個(gè)連通網(wǎng)絡(luò),總是存在一條路徑能夠連逡逑接網(wǎng)絡(luò)中的兩個(gè)節(jié)點(diǎn):即兩個(gè)節(jié)點(diǎn)或者是通過(guò)一條邊相連接,或者是通過(guò)經(jīng)過(guò)中間節(jié)點(diǎn)的逡逑路徑相連接。因此,雖然節(jié)點(diǎn)未直接與非鄰居節(jié)點(diǎn)通信,但由于網(wǎng)絡(luò)是連通的,通過(guò)一定逡逑的信息交換機(jī)制,節(jié)點(diǎn)可以借助其鄰居節(jié)點(diǎn)將自身信息擴(kuò)散到其他非鄰居節(jié)點(diǎn),同時(shí)該節(jié)逡逑點(diǎn)也可以獲取來(lái)自非鄰居節(jié)點(diǎn)的信息。逡逑分布式信息處理就是在這種完全去中心的網(wǎng)絡(luò)中進(jìn)行感知計(jì)算。一個(gè)設(shè)計(jì)良好的分布逡逑式算法能夠獲得與集中式算法接近的性能,同時(shí)保留所有網(wǎng)絡(luò)中分布式計(jì)算的優(yōu)勢(shì)。總結(jié)逡逑一下,與集中式處理機(jī)制相比,分布式處理機(jī)制有如下四個(gè)優(yōu)點(diǎn):逡逑1)網(wǎng)絡(luò)通信量小。逡逑在傳統(tǒng)的集中式處理機(jī)制中
【學(xué)位授予單位】:浙江大學(xué)
【學(xué)位級(jí)別】:博士
【學(xué)位授予年份】:2018
【分類(lèi)號(hào)】:TP212.9
【參考文獻(xiàn)】
相關(guān)博士學(xué)位論文 前1條
1 王利民;貝葉斯學(xué)習(xí)理論中若干問(wèn)題的研究[D];吉林大學(xué);2005年
,本文編號(hào):2618995
本文鏈接:http://www.lk138.cn/kejilunwen/zidonghuakongzhilunwen/2618995.html
最近更新
教材專(zhuān)著