受成像設(shè)備等因素的影響,用戶實際獲取的圖像的分辨率往往是受限的,從而導(dǎo)致圖像的細節(jié)不夠清晰。這不僅會影響用戶的視覺體驗,而且也會對相關(guān)的計算機視覺應(yīng)用構(gòu)成障礙。因此,如何提升圖像的分辨率（也即所謂的圖像超分辨率重建）一直以來都是圖像處理領(lǐng)域的基礎(chǔ)性研究課題,得到眾多學(xué)者的廣泛關(guān)注和深入研究。圖像超分辨率重建是指一種從一幅或多幅低分辨率圖像重建出一幅高分辨率圖像的數(shù)字圖像處理技術(shù)。按照圖像種類的不同,圖像超分辨率重建主要有彩色圖像超分辨率重建和深度圖像超分辨率重建之分。隨著研究和應(yīng)用的深入進行,彩色和深度圖像混在的超分辨率重建研究也陸續(xù)出現(xiàn),并逐漸成為一個研究熱點。在上述研究背景下,本文主要針對彩色和深度圖像同時存在的多源輸入情形,研究相關(guān)的圖像超分辨率重建問題,提出了多種超分辨率重建算法,希望能為圖像超分辨率重建問題的解決提供支持。鑒于實際中獲取深度信息手段的多樣化,研究彩色和深度圖像混在的超分辨率重建問題時必須考慮深度信息獲取的途徑。本文主要以多視角立體視覺系統(tǒng)和RGBD視覺系統(tǒng)提供的深度信息為基礎(chǔ)展開研究。重點關(guān)注相關(guān)的多源圖像超分辨率重建算法,提供有針對性的解決方案。首先,本文針對多視角立體視覺系統(tǒng)中的彩色圖像超分辨率重建問題進行了研究。對于多視角圖像（視頻）數(shù)據(jù),近年來提出和發(fā)展了一種混合分辨率的編解碼方案,能夠有效地降低所要傳輸?shù)臄?shù)據(jù)量。但是這種非對稱的傳輸方案對于后端應(yīng)用造成了限制,所以針對該方案中的低分辨率視角圖像的超分辨率重建研究是近年來的一個重要研究方向。首先,我們針對混合分辨率的多視角圖像中的超分辨率重建問題進行了研究,提出了一種基于多視角立體深度信息融合的超分辨率重建算法。我們使用立體匹配算法在參考圖像和相關(guān)低分辨率圖像之間進行立體匹配以得到視差圖像,然后以參考圖像的視角為基準(zhǔn),從多組視差圖像出發(fā)通過一種中值濾波融合處理得到所需深度圖像的估計�；�于上述深度信息,我們進一步提出了一種基于視差映射和非局部重建的融合算法以實現(xiàn)對低分辨率圖像的超分辨率重建。據(jù)此使用上述超分辨率重建結(jié)果可以重新進行深度估計。反復(fù)迭代上述兩個過程直到得到穩(wěn)定的深度圖像和超分辨率重建結(jié)果。為了驗證方法的有效性,在Middlebury數(shù)據(jù)集上進行多組實驗。實驗結(jié)果表明,該算法具有較大的優(yōu)勢,能夠同時得到高質(zhì)量的深度估計和超分辨率重建結(jié)果。進一步,本文針對非對稱立體視頻中的彩色圖像超分辨率重建問題進行了研究。經(jīng)過分析我們發(fā)現(xiàn),該問題中的深度估計和超分辨率重建是存在較強耦合關(guān)系的兩個過程。基于此,我們提出了一種采用統(tǒng)一的能量函數(shù)對這兩個過程同時進行建模的超分辨率重建算法。首先,我們使用顏色一致性、平滑性、遮擋懲罰和時域一致性等約束構(gòu)建能量函數(shù),對深度估計問題進行建模；然后,在深度信息的指導(dǎo)下,我們使用數(shù)據(jù)一致性、視角一致性和非局部圖像自相似性的約束構(gòu)建能量函數(shù),對超分辨率重建問題進行建模；最后,統(tǒng)一表示上述能量函數(shù),并采用輪換迭代的優(yōu)化技術(shù)求其最優(yōu)解。我們在兩個立體視頻公開數(shù)據(jù)集上進行了驗證實驗,并對得到的深度圖像和超分辨率重建結(jié)果進行了主、客觀評估。實驗結(jié)果表明,本文算法具有可以同時獲得高質(zhì)量的深度估計和超分辨率重建結(jié)果的優(yōu)勢。然后,本文針對RGBD視覺系統(tǒng)中的深度圖像超分辨率重建問題進行了研究,提出了兩種基于彩色圖像信息指導(dǎo)的深度圖像超分辨率重建算法。首先,我們提出了兩種基于非局部線性模型的圖像引導(dǎo)濾波算法,并從濾波器核函數(shù)的形式上分析了它們與圖像引導(dǎo)濾波器以及非局部均值等濾波方法的聯(lián)系和區(qū)別。在公開數(shù)據(jù)集上的實驗表明,本文提出的濾波方法在深度圖像超分辨重建和增強、圖像去噪和圖像去霧等多個應(yīng)用中,具有較大的優(yōu)勢。其次,針對之前深度圖像超分辨率重建方法受初始深度圖像質(zhì)量影響較大的問題,提出了一種結(jié)合圖像局部先驗和非局部先驗的深度圖像超分辨率重建算法。首先,基于彩色圖像和深度圖像的共生不連續(xù)性假設(shè),利用圖像的局部漸變特性和非局部自相似性,通過度量鄰域像素在顏色和深度上的相似性來構(gòu)建能量函數(shù),完成對深度圖像超分辨率重建過程的建模。然后,通過對該能量函數(shù)優(yōu)化求解過程的分析,提出了一種快速近似算法。在Middlebury測試集上的實驗結(jié)果表明,相比其他超分辨率重建方法,本文提出的算法具有較好的魯棒性,并可取得更好的超分辨率重建結(jié)果。最后,結(jié)合立體視覺系統(tǒng)和RGBD視覺系統(tǒng)的特點,提出了一種基于立體視覺輔助的3D視覺系統(tǒng),并據(jù)此提出了一種融合不同來源深度信息的深度圖像超分辨率重建算法。該系統(tǒng)以同一場景的兩個不同視角的高分辨率彩色圖像和一幅低分辨率深度圖像為輸入。首先,對深度相機采集到的低分辨率深度圖像進行超分辨率重建。然后,度量像素在顏色域和深度域的相似性,進而采用基于局部自適應(yīng)權(quán)值的立體匹配算法,從兩幅彩色圖像中計算出高分辨率視差圖像�；�于三角測量原理,就可以得到對應(yīng)的深度圖像。該深度圖像分辨分辨率較高,但是在遮擋和無紋理區(qū)域會出現(xiàn)錯誤。因此,我們利用上述深度圖像超分辨率結(jié)果,對其進行自適應(yīng)填充,從而得到最終的融合結(jié)果。公開數(shù)據(jù)集上的實驗結(jié)果表明,本文算法相比于經(jīng)典的深度圖像超分辨率重建算法和立體匹配算法具有明顯的優(yōu)勢,能夠得到更高質(zhì)量的深度圖像。

 

中國科學(xué)技術(shù)大學(xué)安徽省211工程院校985工程院校

 

頁數(shù)：151

 

【學(xué)位級別】：博士

 

文章目錄

摘要

Abstract

目錄

第一章 緒論

    1.1 圖像超分辨率重建問題及其研究意義

    1.2 圖像超分辨率重建研究與發(fā)展現(xiàn)狀

        1.2.1 彩色圖像超分辨率重建算法

        1.2.2 深度圖像超分辨率重建算法

    1.3 本文的研究內(nèi)容和主要貢獻

        1.3.1 多視角彩色圖像（視頻）超分辨率重建算法

        1.3.2 有彩色圖像指導(dǎo)的深度圖像超分辨率重建算法

    1.4 本文的結(jié)構(gòu)安排

第二章 圖像超分辨率重建研究概述

    2.1 圖像的獲取方法和表達

        2.1.1 彩色圖像的獲取方法和表達

        2.1.2 深度圖像的獲取方法和表達

    2.2 圖像質(zhì)量的評價方法

        2.2.1 彩色圖像的評價方法

        2.2.2 深度圖像的評價方法

    2.3 彩色圖像超分辨率重建算法

        2.3.1 基于單幅圖像的超分辨率重建算法

        2.3.2 基于視頻的超分辨率重建算法

        2.3.3 基于多視角圖像（視頻）的超分辨率重建算法

    2.4 深度圖像超分辨率重建算法

        2.4.1 只使用深度圖像的超分辨率重建算法

        2.4.2 結(jié)合同一場景彩色圖像的超分辨率重建算法

第三章 多視角彩色圖像超分辨率重建算法

    3.1 本章概述

    3.2 非對稱多視角圖像超分辨率重建算法

        3.2.1 研究動機、難點和思路

        3.2.2 基于深度信息的超分辨率重建

        3.2.3 優(yōu)化算法

        3.2.4 實驗及分析

    3.3 非對稱立體視頻圖像超分辨率重建算法

        3.3.1 研究動機、難點和思路

        3.3.2 深度估計和超分辨率問題的同時建模

        3.3.3 基于輪換迭代的優(yōu)化算法

        3.3.4 實驗及分析

    3.4 本章小結(jié)

第四章 單幅彩色圖像指導(dǎo)的深度圖像超分辨率重建算法

    4.1 本章概述

    4.2 基于非局部圖像引導(dǎo)濾波方法的超分辨率算法

        4.2.1 非局部線性模型和自適應(yīng)線性回歸

        4.2.2 兩種平均策略和對應(yīng)的濾波器形式

        4.2.3 非局部圖像引導(dǎo)濾波方法用于深度圖像超分辨率重建

        4.2.4 非局部圖像引導(dǎo)濾波方法的其他應(yīng)用

        4.2.5 本節(jié)附錄

    4.3 結(jié)合局部先驗和非局部先驗的超分辨率重建算法

        4.3.1 研究動機、難點和思路

        4.3.2 基于局部先驗和非局部先驗的能量函數(shù)

        4.3.3 迭代優(yōu)化算法和快速近似算法

        4.3.4 實驗及分析

    4.4 本章小結(jié)

第五章 基于立體視覺輔助模型的深度圖像超分辨率重建算法

    5.1 本章概述

    5.2 研究動機、難點和思路

    5.3 基于立體視覺輔助的深度圖像超分辨率建模

        5.3.1 立體視覺輔助的3D視覺系統(tǒng)

        5.3.2 基于立體視覺輔助系統(tǒng)的能量函數(shù)構(gòu)建

    5.4 迭代優(yōu)化算法和快速近似算法

    5.5 實驗及分析

        5.5.1 實驗數(shù)據(jù)集和參數(shù)設(shè)定

        5.5.2 實驗結(jié)果和分析

    5.6 本章小結(jié)

第六章 總結(jié)與展望

    6.1 論文工作總結(jié)

    6.2 展望

參考文獻

致謝

在讀期間發(fā)表的學(xué)術(shù)論文

在讀期間參與的科研項目

 

參考文獻

 

期刊論文

 

[1]多形態(tài)稀疏性正則化的圖像超分辨率算法[J]. 孫玉寶,韋志輝,肖亮,張崢嶸,呂戰(zhàn)強.  電子學(xué)報. 2010(12)

[2]基于小波域HMT模型的彩色圖像超分辨率復(fù)原[J]. 趙書斌,張蓬,彭思龍.  中國圖象圖形學(xué)報. 2004(02)

 

博士論文

 

[1]圖像超分辨率重建算法研究[D]. 楊宇翔.中國科學(xué)技術(shù)大學(xué) 2013

[2]混合型圖像超分辨率重建算法研究[D]. 寧貝佳.西安電子科技大學(xué) 2013

[3]基于范例的高性能圖像超分辨率[D]. 熊志偉.中國科學(xué)技術(shù)大學(xué) 2011

[4]高精度攝像機標(biāo)定和魯棒立體匹配算法研究[D]. 鄭志剛.中國科學(xué)技術(shù)大學(xué) 2008