受成像設備等因素的影響,用戶實際獲取的圖像的分辨率往往是受限的,從而導致圖像的細節(jié)不夠清晰。這不僅會影響用戶的視覺體驗,而且也會對相關的計算機視覺應用構成障礙。因此,如何提升圖像的分辨率（也即所謂的圖像超分辨率重建）一直以來都是圖像處理領域的基礎性研究課題,得到眾多學者的廣泛關注和深入研究。圖像超分辨率重建是指一種從一幅或多幅低分辨率圖像重建出一幅高分辨率圖像的數(shù)字圖像處理技術。按照圖像種類的不同,圖像超分辨率重建主要有彩色圖像超分辨率重建和深度圖像超分辨率重建之分。隨著研究和應用的深入進行,彩色和深度圖像混在的超分辨率重建研究也陸續(xù)出現(xiàn),并逐漸成為一個研究熱點。在上述研究背景下,本文主要針對彩色和深度圖像同時存在的多源輸入情形,研究相關的圖像超分辨率重建問題,提出了多種超分辨率重建算法,希望能為圖像超分辨率重建問題的解決提供支持。鑒于實際中獲取深度信息手段的多樣化,研究彩色和深度圖像混在的超分辨率重建問題時必須考慮深度信息獲取的途徑。本文主要以多視角立體視覺系統(tǒng)和RGBD視覺系統(tǒng)提供的深度信息為基礎展開研究。重點關注相關的多源圖像超分辨率重建算法,提供有針對性的解決方案。首先,本文針對多視角立體視覺系統(tǒng)中的彩色圖像超分辨率重建問題進行了研究。對于多視角圖像（視頻）數(shù)據(jù),近年來提出和發(fā)展了一種混合分辨率的編解碼方案,能夠有效地降低所要傳輸?shù)臄?shù)據(jù)量。但是這種非對稱的傳輸方案對于后端應用造成了限制,所以針對該方案中的低分辨率視角圖像的超分辨率重建研究是近年來的一個重要研究方向。首先,我們針對混合分辨率的多視角圖像中的超分辨率重建問題進行了研究,提出了一種基于多視角立體深度信息融合的超分辨率重建算法。我們使用立體匹配算法在參考圖像和相關低分辨率圖像之間進行立體匹配以得到視差圖像,然后以參考圖像的視角為基準,從多組視差圖像出發(fā)通過一種中值濾波融合處理得到所需深度圖像的估計�；�于上述深度信息,我們進一步提出了一種基于視差映射和非局部重建的融合算法以實現(xiàn)對低分辨率圖像的超分辨率重建。據(jù)此使用上述超分辨率重建結果可以重新進行深度估計。反復迭代上述兩個過程直到得到穩(wěn)定的深度圖像和超分辨率重建結果。為了驗證方法的有效性,在Middlebury數(shù)據(jù)集上進行多組實驗。實驗結果表明,該算法具有較大的優(yōu)勢,能夠同時得到高質量的深度估計和超分辨率重建結果。進一步,本文針對非對稱立體視頻中的彩色圖像超分辨率重建問題進行了研究。經過分析我們發(fā)現(xiàn),該問題中的深度估計和超分辨率重建是存在較強耦合關系的兩個過程�；�于此,我們提出了一種采用統(tǒng)一的能量函數(shù)對這兩個過程同時進行建模的超分辨率重建算法。首先,我們使用顏色一致性、平滑性、遮擋懲罰和時域一致性等約束構建能量函數(shù),對深度估計問題進行建模；然后,在深度信息的指導下,我們使用數(shù)據(jù)一致性、視角一致性和非局部圖像自相似性的約束構建能量函數(shù),對超分辨率重建問題進行建模；最后,統(tǒng)一表示上述能量函數(shù),并采用輪換迭代的優(yōu)化技術求其最優(yōu)解。我們在兩個立體視頻公開數(shù)據(jù)集上進行了驗證實驗,并對得到的深度圖像和超分辨率重建結果進行了主、客觀評估。實驗結果表明,本文算法具有可以同時獲得高質量的深度估計和超分辨率重建結果的優(yōu)勢。然后,本文針對RGBD視覺系統(tǒng)中的深度圖像超分辨率重建問題進行了研究,提出了兩種基于彩色圖像信息指導的深度圖像超分辨率重建算法。首先,我們提出了兩種基于非局部線性模型的圖像引導濾波算法,并從濾波器核函數(shù)的形式上分析了它們與圖像引導濾波器以及非局部均值等濾波方法的聯(lián)系和區(qū)別。在公開數(shù)據(jù)集上的實驗表明,本文提出的濾波方法在深度圖像超分辨重建和增強、圖像去噪和圖像去霧等多個應用中,具有較大的優(yōu)勢。其次,針對之前深度圖像超分辨率重建方法受初始深度圖像質量影響較大的問題,提出了一種結合圖像局部先驗和非局部先驗的深度圖像超分辨率重建算法。首先,基于彩色圖像和深度圖像的共生不連續(xù)性假設,利用圖像的局部漸變特性和非局部自相似性,通過度量鄰域像素在顏色和深度上的相似性來構建能量函數(shù),完成對深度圖像超分辨率重建過程的建模。然后,通過對該能量函數(shù)優(yōu)化求解過程的分析,提出了一種快速近似算法。在Middlebury測試集上的實驗結果表明,相比其他超分辨率重建方法,本文提出的算法具有較好的魯棒性,并可取得更好的超分辨率重建結果。最后,結合立體視覺系統(tǒng)和RGBD視覺系統(tǒng)的特點,提出了一種基于立體視覺輔助的3D視覺系統(tǒng),并據(jù)此提出了一種融合不同來源深度信息的深度圖像超分辨率重建算法。該系統(tǒng)以同一場景的兩個不同視角的高分辨率彩色圖像和一幅低分辨率深度圖像為輸入。首先,對深度相機采集到的低分辨率深度圖像進行超分辨率重建。然后,度量像素在顏色域和深度域的相似性,進而采用基于局部自適應權值的立體匹配算法,從兩幅彩色圖像中計算出高分辨率視差圖像�；�于三角測量原理,就可以得到對應的深度圖像。該深度圖像分辨分辨率較高,但是在遮擋和無紋理區(qū)域會出現(xiàn)錯誤。因此,我們利用上述深度圖像超分辨率結果,對其進行自適應填充,從而得到最終的融合結果。公開數(shù)據(jù)集上的實驗結果表明,本文算法相比于經典的深度圖像超分辨率重建算法和立體匹配算法具有明顯的優(yōu)勢,能夠得到更高質量的深度圖像。

 

中國科學技術大學安徽省211工程院校985工程院校

 

頁數(shù)：151

 

【學位級別】：博士

 

文章目錄

摘要

Abstract

目錄

第一章 緒論

    1.1 圖像超分辨率重建問題及其研究意義

    1.2 圖像超分辨率重建研究與發(fā)展現(xiàn)狀

        1.2.1 彩色圖像超分辨率重建算法

        1.2.2 深度圖像超分辨率重建算法

    1.3 本文的研究內容和主要貢獻

        1.3.1 多視角彩色圖像（視頻）超分辨率重建算法

        1.3.2 有彩色圖像指導的深度圖像超分辨率重建算法

    1.4 本文的結構安排

第二章 圖像超分辨率重建研究概述

    2.1 圖像的獲取方法和表達

        2.1.1 彩色圖像的獲取方法和表達

        2.1.2 深度圖像的獲取方法和表達

    2.2 圖像質量的評價方法

        2.2.1 彩色圖像的評價方法

        2.2.2 深度圖像的評價方法

    2.3 彩色圖像超分辨率重建算法

        2.3.1 基于單幅圖像的超分辨率重建算法

        2.3.2 基于視頻的超分辨率重建算法

        2.3.3 基于多視角圖像（視頻）的超分辨率重建算法

    2.4 深度圖像超分辨率重建算法

        2.4.1 只使用深度圖像的超分辨率重建算法

        2.4.2 結合同一場景彩色圖像的超分辨率重建算法

第三章 多視角彩色圖像超分辨率重建算法

    3.1 本章概述

    3.2 非對稱多視角圖像超分辨率重建算法

        3.2.1 研究動機、難點和思路

        3.2.2 基于深度信息的超分辨率重建

        3.2.3 優(yōu)化算法

        3.2.4 實驗及分析

    3.3 非對稱立體視頻圖像超分辨率重建算法

        3.3.1 研究動機、難點和思路

        3.3.2 深度估計和超分辨率問題的同時建模

        3.3.3 基于輪換迭代的優(yōu)化算法

        3.3.4 實驗及分析

    3.4 本章小結

第四章 單幅彩色圖像指導的深度圖像超分辨率重建算法

    4.1 本章概述

    4.2 基于非局部圖像引導濾波方法的超分辨率算法

        4.2.1 非局部線性模型和自適應線性回歸

        4.2.2 兩種平均策略和對應的濾波器形式

        4.2.3 非局部圖像引導濾波方法用于深度圖像超分辨率重建

        4.2.4 非局部圖像引導濾波方法的其他應用

        4.2.5 本節(jié)附錄

    4.3 結合局部先驗和非局部先驗的超分辨率重建算法

        4.3.1 研究動機、難點和思路

        4.3.2 基于局部先驗和非局部先驗的能量函數(shù)

        4.3.3 迭代優(yōu)化算法和快速近似算法

        4.3.4 實驗及分析

    4.4 本章小結

第五章 基于立體視覺輔助模型的深度圖像超分辨率重建算法

    5.1 本章概述

    5.2 研究動機、難點和思路

    5.3 基于立體視覺輔助的深度圖像超分辨率建模

        5.3.1 立體視覺輔助的3D視覺系統(tǒng)

        5.3.2 基于立體視覺輔助系統(tǒng)的能量函數(shù)構建

    5.4 迭代優(yōu)化算法和快速近似算法

    5.5 實驗及分析

        5.5.1 實驗數(shù)據(jù)集和參數(shù)設定

        5.5.2 實驗結果和分析

    5.6 本章小結

第六章 總結與展望

    6.1 論文工作總結

    6.2 展望

參考文獻

致謝

在讀期間發(fā)表的學術論文

在讀期間參與的科研項目

 

參考文獻

 

期刊論文

 

[1]多形態(tài)稀疏性正則化的圖像超分辨率算法[J]. 孫玉寶,韋志輝,肖亮,張崢嶸,呂戰(zhàn)強.  電子學報. 2010(12)

[2]基于小波域HMT模型的彩色圖像超分辨率復原[J]. 趙書斌,張蓬,彭思龍.  中國圖象圖形學報. 2004(02)

 

博士論文

 

[1]圖像超分辨率重建算法研究[D]. 楊宇翔.中國科學技術大學 2013

[2]混合型圖像超分辨率重建算法研究[D]. 寧貝佳.西安電子科技大學 2013

[3]基于范例的高性能圖像超分辨率[D]. 熊志偉.中國科學技術大學 2011

[4]高精度攝像機標定和魯棒立體匹配算法研究[D]. 鄭志剛.中國科學技術大學 2008