由于強大的高質(zhì)量圖像生成能力,生成對抗網(wǎng)絡在圖像融合和圖像超分辨率等計算機視覺的研究中得到了廣泛關(guān)注。目前基于生成對抗網(wǎng)絡的遙感圖像融合方法只使用網(wǎng)絡學習圖像之間的映射,缺乏對遙感圖像中特有的全銳化領(lǐng)域知識的應用。該文提出一種融入全色圖空間結(jié)構(gòu)信息的優(yōu)化生成對抗網(wǎng)絡遙感圖像融合方法。通過梯度算子提取全色圖空間結(jié)構(gòu)信息,將提取的特征同時加入判別器和具有多流融合架構(gòu)的生成器,設(shè)計相應的優(yōu)化目標和融合規(guī)則,從而提高融合圖像的質(zhì)量。結(jié)合WorldView-3衛(wèi)星獲取的圖像進行實驗,結(jié)果表明,所提方法能夠生成高質(zhì)量的融合圖像,在主觀視覺和客觀評價指標上都優(yōu)于大多先進的遙感圖像融合方法。

【文章頁數(shù)】：8 頁

【部分圖文】：

圖1用于低分辨率的多光譜圖像與全色圖像梯度信息融合的生成對抗網(wǎng)絡框架

其中N表示訓練樣本的數(shù)量。另一方面，參考變分模型能量函數(shù)的設(shè)計，我們假設(shè)融合圖像具有與參考的HRMS圖像一致的光譜信息，與PAN圖像一致的結(jié)構(gòu)信息，定義Lc用于最小化融合圖像和真實圖像及全色圖像結(jié)構(gòu)信息的差距式中第1部分旨在使得融合圖像和真實的HRMS圖像足夠接近，保留光譜信息....

圖2多流融合框架詳細的結(jié)構(gòu)

根據(jù)算法以及網(wǎng)絡框架的設(shè)計，本文設(shè)計了一種多流融合框架，具體體系結(jié)構(gòu)如圖2(a)所示，不同于傳統(tǒng)的深度學習算法，因為引入了梯度信息的約束，梯度算子的作用可以看作是特征的提取，因此本文的融合不再使用像素級的融合規(guī)則，而是在特征域中完成，并且特征域上的融合會減少細節(jié)的丟失。生成器將L....

圖3基于WorldView-3衛(wèi)星數(shù)據(jù)集的仿真實驗融合結(jié)果

仿真實驗中利用已有的多光譜圖像作為參考，將全色圖像下采樣到和多光譜圖像一樣的尺寸，將多光譜圖像下采樣同等倍數(shù)作為低分辨率的LRMS圖像，整體在縮小的比例上進行融合，得到的融合結(jié)果與已有的多光譜圖像尺寸一致并測量相關(guān)指標。為了直觀判斷融合圖像的質(zhì)量，首先通過可見光譜的多光譜圖像進行....

圖4圖3中各方法與真實圖像對比的殘差圖

如表1所示，與圖像直觀效果相應，仿真實驗中ATWT-M3算法和BDSD算法圖像質(zhì)量指標Qn較差，神經(jīng)網(wǎng)絡的算法在仿真實驗中，各項指標上都大幅度優(yōu)于傳統(tǒng)算法，同時本文算法有著良好的表現(xiàn)，這與融合圖像整體模糊的目視結(jié)果一致。如表2所示，在Worldview-3衛(wèi)星數(shù)據(jù)集的真實數(shù)據(jù)實....

本文編號：3977880