發(fā)布時(shí)間：2020-04-09 01:23

【摘要】：在圖像處理的領(lǐng)域之中,一些研究人員利用深度學(xué)習(xí)在處理圖像風(fēng)格化的方面取得了很好的效果,圖像風(fēng)格化就是將一張普通照片在內(nèi)容不變的情況下生成具有另外一種風(fēng)格的圖像。漫畫的發(fā)展可以追溯到很久以前的人類社會(huì)智人時(shí)期,如今也作為一種流行的娛樂方式受到各個(gè)階層人們的喜愛。因此,研究漫畫風(fēng)格化的遷移具有學(xué)術(shù)研究和實(shí)際應(yīng)用價(jià)值。目前的研究結(jié)果表明,大多數(shù)的風(fēng)格遷移算法的風(fēng)格圖都是油畫等帶有強(qiáng)烈紋理的圖像,而以黑白的點(diǎn)線特征為主的漫畫圖像風(fēng)格遷移卻鮮少有涉及,所以本文針對漫畫圖像的風(fēng)格遷移進(jìn)行了有關(guān)研究。具體內(nèi)容如下:(1)在閱讀風(fēng)格遷移的相關(guān)文獻(xiàn)后,對于基于塊匹配的風(fēng)格遷移、基于自適應(yīng)歸一化的風(fēng)格遷移、基于損失感知函數(shù)的風(fēng)格遷移以及漫畫對抗生成網(wǎng)絡(luò)進(jìn)行了實(shí)驗(yàn),對比得出這四種方法在漫畫風(fēng)格遷移方面產(chǎn)生圖像的質(zhì)量,并分析結(jié)果,選擇基于感知損失函數(shù)的模型作為本文產(chǎn)生漫畫風(fēng)格遷移模型的基礎(chǔ)。(2)基于損失感知函數(shù)的實(shí)時(shí)風(fēng)格轉(zhuǎn)換,首先在原網(wǎng)絡(luò)的基礎(chǔ)上更改了歸一化的方法。由于圖像風(fēng)格化中生成結(jié)果主要依賴于某個(gè)圖像實(shí)例,所以運(yùn)用實(shí)例歸一化代替批歸一化。其次,當(dāng)用神經(jīng)網(wǎng)絡(luò)生成圖像時(shí),經(jīng)常從低分辨率與高階描述構(gòu)建圖像,這會(huì)讓網(wǎng)絡(luò)先描繪粗糙的圖像,再填充細(xì)節(jié),經(jīng)常會(huì)產(chǎn)生棋盤狀格紋。于是采用最鄰近插值法進(jìn)行圖像的縮放,再做卷積,以這樣的方式代替反卷積,可以提高生成圖像的質(zhì)量,遠(yuǎn)離棋盤效應(yīng)的出現(xiàn)。(3)對神經(jīng)網(wǎng)絡(luò)不同的層提取出來的特征圖進(jìn)行了大量的實(shí)驗(yàn)分析分析,發(fā)現(xiàn)淺層的網(wǎng)絡(luò)提取出的特征更加偏向于點(diǎn)線面,而深層網(wǎng)絡(luò)提取出的特征更偏向于整體的紋理與風(fēng)格圖的整體感覺,因此選擇最適合漫畫風(fēng)格遷移的不同卷積層的權(quán)重比例對漫畫圖像進(jìn)行特征提取。(4)之前的大部分風(fēng)格遷移模型訓(xùn)練都選用了最常使用的Coco數(shù)據(jù)集,Coco數(shù)據(jù)集中的圖像是彩色的真實(shí)照片,為了得到更適合漫畫風(fēng)格的模型,本文對于漫畫風(fēng)格圖像的遷移建立了包含一千多張標(biāo)準(zhǔn)黑白漫畫圖像的數(shù)據(jù)集,利用漫畫數(shù)據(jù)集對模型進(jìn)行訓(xùn)練,通過對比相同參數(shù)下不同數(shù)據(jù)集的結(jié)果,漫畫數(shù)據(jù)集訓(xùn)練的風(fēng)格遷移效果最優(yōu)。(5)在Ubuntu的操作系統(tǒng)下,搭建了基于Python語言的Pyqt界面開發(fā)工具,利用Pyqt進(jìn)行了界面的開發(fā)。該系統(tǒng)可以選擇任意圖像輸入,在界面中可以選擇不同的參數(shù)進(jìn)行調(diào)整,對比不同參數(shù)的效果,也可以對不同的圖像進(jìn)行訓(xùn)練得到不同的漫畫風(fēng)格模型。
【圖文】：

我認(rèn)為還是有必要在現(xiàn)有的研究中繼續(xù)改進(jìn)，將神經(jīng)藝術(shù)算法的渲染創(chuàng)作中。題研究現(xiàn)狀神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格遷移在 2015 年由 Gatys 等人在兩篇論文中提出的，Gatys et al., 2015a[7]，第二篇是 Gatys et al., 2015b[8]。在 2015 年 Gatys 等人提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)特征空間的紋理模型，在這個(gè)模型中，紋理層中的特征圖之間的相互關(guān)系重新呈現(xiàn)，在使對象信息越來越清晰的同來越多地捕捉自然圖像的風(fēng)格內(nèi)容特征。方法正如圖 1-1[7]中所示，左邊神經(jīng)網(wǎng)絡(luò)，經(jīng)過不同卷積層的特征提取與 Gram 矩陣的計(jì)算得出紋理分析圖像輸入，計(jì)算紋理在不同層的損失函數(shù)，進(jìn)行紋理的合成。第二篇文獻(xiàn)篇文獻(xiàn)中的紋理合成的方法，進(jìn)行了油畫風(fēng)格的圖像風(fēng)格遷移，作者使用網(wǎng)絡(luò)層進(jìn)行內(nèi)容的重建，保留下最大的像素值部分，然后與提取到的紋理最終的含有不同油畫藝術(shù)風(fēng)格的圖像。

ResNet 殘差神經(jīng)網(wǎng)絡(luò)由微軟研究院的 Kaiming He 等 4 名華人提出[25]，ResNet 的網(wǎng)結(jié)構(gòu)將之前的參數(shù)都可以傳遞下來，對于網(wǎng)絡(luò)的準(zhǔn)確率也有很大的提高，ResNet 將網(wǎng)層數(shù)增加到 50、101 和 152，都得到了比較好的結(jié)果，但是當(dāng)網(wǎng)絡(luò)層增加到 1202 時(shí)結(jié)降低，由于網(wǎng)絡(luò)層數(shù)太深會(huì)導(dǎo)致過擬合。殘差網(wǎng)絡(luò)的主要核心是將每一層信息直接傳遞輸出，不會(huì)因?yàn)榫W(wǎng)絡(luò)層數(shù)的增加導(dǎo)致退化的問題，在網(wǎng)絡(luò)層數(shù)增加的基礎(chǔ)上，準(zhǔn)確率也得到一定的上升，保證提取到特征的完整性。VGGNet是由牛津大學(xué)計(jì)算機(jī)視覺組合和Google DeepMind公司研究員一起研發(fā)的深卷積神經(jīng)網(wǎng)絡(luò)[26]。如今 VGG16 和 19 仍然被應(yīng)用于很多的圖像特征提取問題中，網(wǎng)絡(luò)利用了 3 3的小卷積核進(jìn)行特征的提取，2 2的最大池化層進(jìn)行降維。VGGNet 的網(wǎng)絡(luò)構(gòu)如下圖 2-4 所示。最為常用的是 VGG16 和 VGG19，，網(wǎng)絡(luò)大致分為五大塊，每一塊都幾個(gè)卷積層串聯(lián)，之后跟隨一個(gè)最大池化，最后三個(gè)全連接層以及 softmax 分類器，VGG網(wǎng)絡(luò)主要運(yùn)用在圖像特征提取方面，使用 3 3的濾波器和 2 2的池化層，通過網(wǎng)絡(luò)的斷加深可以提升網(wǎng)絡(luò)的性能。但是網(wǎng)絡(luò)的缺點(diǎn)是參數(shù)較多，需要更大的儲存空間。
【學(xué)位授予單位】：西安理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP391.41;TP181

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張錦華;孫挺;;引入像點(diǎn)融合度修補(bǔ)的圖像邊緣化參差拼接實(shí)現(xiàn)[J];微電子學(xué)與計(jì)算機(jī);2014年08期

2 翟逸飛;;基于FPGA的圖像邊緣處理研究[J];企業(yè)技術(shù)開發(fā);2013年12期

3 顧長友;妙用Photoshop處理圖像邊緣[J];電腦知識與技術(shù);2003年08期

4 濮群,余桂;用線性模型檢測圖像邊緣[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);1988年01期

5 宋建中;;噴霧圖像的自動(dòng)分析[J];光學(xué)機(jī)械;1988年04期

6 高華;;關(guān)于古建筑圖像中破損點(diǎn)優(yōu)化提取仿真[J];計(jì)算機(jī)仿真;2017年11期

7 劉娟娟;劉斌;;低照度非線性光學(xué)圖像邊緣自適應(yīng)增強(qiáng)裝置設(shè)計(jì)[J];激光雜志;2017年03期

8 張琳梅;;基于圖像邊緣增強(qiáng)的改進(jìn)方法[J];信息系統(tǒng)工程;2016年03期

9 王水萍;鄒蕾;;空中模糊目標(biāo)圖像邊緣信息的融合與恢復(fù)方法[J];科技通報(bào);2014年06期

10 朱慶生;楊世泉;柳鋒;;基于圖像邊緣摘要的快速模板匹配[J];計(jì)算機(jī)應(yīng)用研究;2009年02期

相關(guān)會(huì)議論文 前10條

1 陸成剛;陳剛;張但;閔春燕;;圖像邊緣的優(yōu)化模型[A];'2002系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)論文集（第四卷）[C];2002年

2 王培珍;楊維翰;陳維南;;圖像邊緣信息的融合方案研究[A];中國圖象圖形學(xué)會(huì)第十屆全國圖像圖形學(xué)術(shù)會(huì)議（CIG’2001）和第一屆全國虛擬現(xiàn)實(shí)技術(shù)研討會(huì)（CVR’2001）論文集[C];2001年

3 王亮亮;李明;高昕;;強(qiáng)模糊空間目標(biāo)圖像邊緣獲取方法研究[A];第九屆全國光電技術(shù)學(xué)術(shù)交流會(huì)論文集（下冊）[C];2010年

4 陳煒;張陽陽;孟慶勛;;一種基于Curvelet變換的圖像邊緣增強(qiáng)方法[A];國家安全地球物理叢書（十）——地球物理環(huán)境與國家安全[C];2014年

5 張明慧;;基于模糊蒙片算法的CR圖像邊緣增強(qiáng)[A];第六屆全國信息獲取與處理學(xué)術(shù)會(huì)議論文集（1）[C];2008年

6 孫增國;師蕊;;基于L_(1/2)范數(shù)的高分三SAR圖像的非局部均值降斑[A];第五屆高分辨率對地觀測學(xué)術(shù)年會(huì)論文集[C];2018年

7 楊文秀;陸常周;;最優(yōu)小波問題探討[A];新世紀(jì) 新機(jī)遇 新挑戰(zhàn)——知識創(chuàng)新和高新技術(shù)產(chǎn)業(yè)發(fā)展（上冊）[C];2001年

8 趙恩良;姜盈帆;孫麗華;曹康敏;金瑞巧;;一種基于變窗口的圖像去噪算法研究[A];第十六屆沈陽科學(xué)學(xué)術(shù)年會(huì)論文集（理工農(nóng)醫(yī)）[C];2019年

9 周勝靈;丁珠玉;;農(nóng)產(chǎn)品邊緣檢測系統(tǒng)研究[A];中國農(nóng)業(yè)工程學(xué)會(huì)2011年學(xué)術(shù)年會(huì)論文集[C];2011年

10 胡昌偉;屈小波;郭迪;寧本德;陳忠;;基于邊緣加權(quán)的l_1-l_2范數(shù)MRI欠采重建[A];第十七屆全國波譜學(xué)學(xué)術(shù)會(huì)議論文摘要集[C];2012年

相關(guān)重要報(bào)紙文章 前7條

1 侯杰;國產(chǎn)芯片進(jìn)軍移動(dòng)多媒體市場[N];人民郵電;2003年

2 吳飛;無邊距照片打印三部曲[N];中國電腦教育報(bào);2003年

3 成嶺;消除Premiere中慢鏡頭的圖像抖動(dòng)[N];電腦報(bào);2003年

4 ;體驗(yàn)決定一切[N];中國計(jì)算機(jī)報(bào);2003年

5 Wang JS;摳圖又有新招[N];電腦報(bào);2002年

6 徐和德;從實(shí)戰(zhàn)出發(fā)選擇合適鏡頭[N];中國攝影報(bào);2019年

7 ;令挑剔的人也刮目相看[N];中國電子報(bào);2001年

相關(guān)博士學(xué)位論文 前10條

1 劉奇;基于結(jié)構(gòu)保持濾波的圖像去霧算法研究[D];西安電子科技大學(xué);2018年

2 劉飛;透混沌介質(zhì)偏振成像技術(shù)[D];西安電子科技大學(xué);2016年

3 李永軍;圖像與視頻低復(fù)雜度壓縮算法研究[D];西安電子科技大學(xué);2017年

4 何人杰;圖像去霧與去湍流方法研究[D];西北工業(yè)大學(xué);2017年

5 張文靜;光場成像技術(shù)在天空偏振模式測量和湍流圖像清晰化中的應(yīng)用研究[D];國防科學(xué)技術(shù)大學(xué);2016年

6 左承林;圖像非局部均值去噪方法研究[D];國防科學(xué)技術(shù)大學(xué);2016年

7 王丹;基于暗通道先驗(yàn)的圖像和視頻去霧模型及算法研究[D];國防科學(xué)技術(shù)大學(xué);2016年

8 宋文青;SAR圖像自動(dòng)目標(biāo)提取方法研究[D];西安電子科技大學(xué);2018年

9 楊濱;圖像克隆拼接篡改盲取證技術(shù)研究[D];湖南大學(xué);2014年

10 張小帆;基于介觀尺度的內(nèi)燃機(jī)進(jìn)氣流場層析圖像診斷機(jī)理研究[D];華南理工大學(xué);2018年

相關(guān)碩士學(xué)位論文 前10條

1 葉顯一;基于深度學(xué)習(xí)的糖尿病視網(wǎng)膜病變圖像中滲出物的檢測方法研究[D];武漢工程大學(xué);2018年

2 張光裕;高質(zhì)量圖像的漸進(jìn)式并行檢索算法研究[D];廈門大學(xué);2017年

3 張秀;基于單幅圖像的沙塵圖像清晰化方法及系統(tǒng)[D];西安理工大學(xué);2019年

4 路鑫林;基于骨料形狀匹配的混凝土CT圖像裂紋信息提取方法研究[D];西安理工大學(xué);2019年

5 孫利國;基于深度學(xué)習(xí)的文物圖像單標(biāo)簽和多標(biāo)簽分類研究[D];浙江大學(xué);2019年

6 李嶺;圖像與數(shù)據(jù)融合的抓取機(jī)構(gòu)控制系統(tǒng)研究[D];沈陽工業(yè)大學(xué);2019年

7 王陳;指靜脈多曝光圖像的研究[D];北京郵電大學(xué);2019年

8 武筱琪;基于深度學(xué)習(xí)的漫畫風(fēng)格遷移方法研究[D];西安理工大學(xué);2019年

9 余鍇鑫;基于圖像分類算法的自動(dòng)化摘酒方法研究[D];浙江大學(xué);2019年

10 華永祥;基于熒光靶圖像的單色光位置變化測量研究[D];中國科學(xué)院大學(xué)(中國科學(xué)院上海應(yīng)用物理研究所);2019年

本文編號：2620092