第一章 緒論

1.1 課題的研究背景及意義
由于視頻中包含著大量的、豐富的數(shù)據(jù)信息，加大了視頻傳輸信道的壓力。為了解決這一問題，在視頻應(yīng)用之前需要進(jìn)行視頻數(shù)據(jù)壓縮，而如何進(jìn)行壓縮且能最大程度的減少視頻質(zhì)量的損耗這一問題備受關(guān)注。在視頻相關(guān)的實(shí)際應(yīng)用中，由于視頻所包含的數(shù)據(jù)量比較大，所以需要對(duì)視頻事先進(jìn)行處理。視頻一般經(jīng)過編碼、壓縮、傳輸、解碼等處理過程，在視頻處理的過程中，由于解編碼器的性能、壓縮設(shè)備的性能和網(wǎng)絡(luò)傳輸?shù)乃俣鹊纫蛩�，往往�?huì)降低視頻的質(zhì)量，從而影響到人的感觀。為了保證視頻的最終感觀效果，需要對(duì)失真視頻進(jìn)行有效的質(zhì)量評(píng)價(jià)，從而根據(jù)視頻質(zhì)量評(píng)價(jià)的好壞對(duì)視編碼器和網(wǎng)絡(luò)傳輸信道的相關(guān)參數(shù)進(jìn)行調(diào)整。視頻質(zhì)量評(píng)價(jià)的方法主要為主觀視頻質(zhì)量評(píng)價(jià)與客觀視頻質(zhì)量評(píng)價(jià)。其中前者的評(píng)價(jià)的效果最好，然而由于此方法需要嚴(yán)格的測(cè)試環(huán)境、消耗的時(shí)間較長(zhǎng)且物資費(fèi)用較貴，不易于移植到實(shí)時(shí)或大規(guī)模應(yīng)用系統(tǒng)中。主觀視頻質(zhì)量評(píng)價(jià)主要是讓觀察者在特定的環(huán)境下通過自己的視覺系統(tǒng)對(duì)視頻質(zhì)量進(jìn)行主觀打分，主觀視頻質(zhì)量評(píng)價(jià)優(yōu)點(diǎn)在于最可靠最有效，受限于受觀察者的心理因素、認(rèn)知水平、教育程度等因素從而影響主觀評(píng)分。而客觀視頻質(zhì)量評(píng)價(jià)方法克服了主觀視頻質(zhì)量評(píng)價(jià)的缺點(diǎn)，建立相應(yīng)的數(shù)學(xué)模型，對(duì)視頻進(jìn)行自動(dòng)且有效精確的質(zhì)量分值計(jì)算。所以研究出能夠?qū)κд嬉曨l進(jìn)行自動(dòng)化智能化分析的數(shù)學(xué)模型的客觀視頻質(zhì)量評(píng)價(jià)算法是視頻質(zhì)量算法研究領(lǐng)域內(nèi)關(guān)注的重點(diǎn)�？煽康囊曨l質(zhì)量評(píng)價(jià)在保證視頻傳輸信道的服務(wù)質(zhì)量(QoS)和改善用戶的體驗(yàn)質(zhì)量(QoE)中扮演著重要的角色[1]。具體來說為，在一個(gè)視頻的傳輸系統(tǒng)中，通過網(wǎng)絡(luò)的 QoS參數(shù)(如網(wǎng)絡(luò)延時(shí)、包丟失率等)來監(jiān)視網(wǎng)絡(luò)傳輸?shù)?QoS 尤其重要。同樣影響視頻傳輸中的服務(wù)質(zhì)量的因素有啟動(dòng)延遲、視頻回放和視頻的質(zhì)量等，最終這些將影響用戶的體驗(yàn)質(zhì)量。此外，視頻的質(zhì)量可用于衡量傳輸系統(tǒng)中壓縮、處理和傳輸?shù)炔考�的性能。通過選擇合適的參數(shù)來控制和監(jiān)視傳輸系統(tǒng)中各個(gè)部件的 QoS 的參數(shù)可以實(shí)現(xiàn)高性能的系統(tǒng)和獲取良好的用戶體驗(yàn)。
...

1.2 視頻質(zhì)量評(píng)價(jià)算法研究現(xiàn)狀
在數(shù)字多媒體的應(yīng)用和通信中，大量數(shù)據(jù)的產(chǎn)生給信息的存儲(chǔ)和傳輸帶來了較大的困難。當(dāng)今的視頻技術(shù)常采用編解碼器來壓縮視頻信號(hào)，以實(shí)現(xiàn)信息在比較有限的寬帶上進(jìn)行有效的傳輸。因?yàn)閷?shí)際上，人眼最終看到的是播放出的視頻，因此對(duì)于經(jīng)過視頻系統(tǒng)處理過程后恢復(fù)重建后的視頻的質(zhì)量，人們給予了很高的關(guān)注。主要的視頻質(zhì)量評(píng)價(jià)方法分為主觀質(zhì)量評(píng)價(jià)和客觀視頻評(píng)價(jià)這兩種。下文將對(duì)這兩種方法作簡(jiǎn)單描述。主觀視頻質(zhì)量評(píng)價(jià)算法是依靠人的主觀意識(shí)判斷視頻質(zhì)量，文獻(xiàn)[2，3]中詳細(xì)論述了主觀視頻像質(zhì)量評(píng)價(jià)算法的過程及優(yōu)缺點(diǎn)。主觀視頻質(zhì)量評(píng)價(jià)方法把視頻的質(zhì)量劃分為 Excellent、Good、Fair、Poor、Bad 五個(gè)等級(jí)，具體描述如表 1.1 所示。首先讓一組非專家的觀察者在一個(gè)受控的環(huán)境內(nèi)，觀看大約十至三十分鐘的視頻序列，然后對(duì)每一個(gè)視頻序列進(jìn)行打分，最后統(tǒng)計(jì)出各個(gè)視頻序列的質(zhì)量分值，通過一系列的計(jì)算得出平均意見分(Mean Opinion Score，MOS)。對(duì)參考視頻的質(zhì)量分值和失真視頻質(zhì)量的分值進(jìn)行差值運(yùn)算，得到平均主觀圖像質(zhì)量差值，記為 DMOS(Different Mean Opinion Score,DMOS)。DMOS 分值代表著視頻質(zhì)量的優(yōu)劣，DMOS 的值越大表明視頻圖像的質(zhì)量越差；DMOS 的值越小表明視頻圖像的質(zhì)量越好。下文介紹了五種主觀視頻評(píng)價(jià)方法。
.......

第二章 視頻質(zhì)量評(píng)價(jià)概述

2.1 視頻基礎(chǔ)
視頻是活動(dòng)圖像(或活動(dòng)序列)，我們可以看到的視頻信息實(shí)際上是由許許多多單一的畫面所組成的，每一幅畫面稱為一幀，幀(frame)是構(gòu)成視頻信息的最基本和最小的單位。因?yàn)橐曨l的每一幀的內(nèi)容或多或少都有不一樣的地方，所以全部的圖像序列看起來就是運(yùn)動(dòng)的圖像。數(shù)字視頻就是以二進(jìn)制數(shù)字“0”或“1”來表示的視頻信號(hào)。數(shù)字視頻來源的主要方式為：一是直接通過數(shù)字?jǐn)z像機(jī)(例如 CCD 攝像機(jī)等)產(chǎn)生數(shù)字信號(hào)；二是經(jīng)過數(shù)字化技術(shù)處理將模擬視頻信號(hào)轉(zhuǎn)化為數(shù)字視頻信號(hào)。一個(gè)基本數(shù)字視頻處理系統(tǒng)包括：輸入 、輸出、存儲(chǔ)、通信、處理和分析等模塊。各個(gè)模塊都有特定的功能。數(shù)字視頻由一系列的圖像構(gòu)成，每一幅圖像為一幀。通常視頻中采用的幀速率有 24fps，25fps，30fps等，即每秒鐘播放 24 至 30 幅圖像[35]。視頻圖像序列是把動(dòng)態(tài)的三維景物通過觀測(cè)投影到視頻攝像機(jī)圖像平面上的一個(gè)二維圖像序列，即把光學(xué)圖像信號(hào)轉(zhuǎn)化為電信號(hào)。對(duì)于視頻信號(hào)中的每幀中的任意一像素點(diǎn)，在被拍攝的景物中都有特定的某一點(diǎn)與之相對(duì)應(yīng)。視頻信號(hào)的采集常用錄像機(jī)或者攝像機(jī)等工具，當(dāng)拍攝一個(gè)物體時(shí)，攝像機(jī)鏡頭收集到物體反射的光，然后使其聚焦在攝像器件的受光面，最后經(jīng)由攝像器件吧光信號(hào)變成電信號(hào)，即獲取到“視頻信號(hào)”。
.......

2.2 人眼視覺系統(tǒng)(Human Vision System, HVS)
人類通過眼睛來獲取視覺信息，當(dāng)光輻射刺激到人眼時(shí)，光信號(hào)經(jīng)過角膜和晶狀體等作用投影到視網(wǎng)膜上，然后經(jīng)由視網(wǎng)膜上的光感受細(xì)胞將輸光信號(hào)轉(zhuǎn)換為神經(jīng)電脈沖信號(hào)，，之后沿著神經(jīng)纖維傳遞到視皮層，視皮層成物體的識(shí)別感知和理解。人眼感知到的視頻一般都經(jīng)過了編碼、壓縮和信道傳輸?shù)�，在這些過程中往往會(huì)造成視頻的失真，需要建立符合人眼視覺系統(tǒng)的視頻質(zhì)量評(píng)價(jià)模型來調(diào)整壓縮設(shè)備和信道的參數(shù)以便于提高視頻的質(zhì)量，因此對(duì)人眼視覺系統(tǒng)的研究非常重要[39，40]。人的眼睛是一個(gè)構(gòu)造極其復(fù)雜的器官，如圖 2-1 所示。從光學(xué)的角度研究發(fā)現(xiàn)，人眼好比一臺(tái)自動(dòng)控制的照相機(jī)。它主要由角膜、瞳孔、晶狀體、視網(wǎng)膜、虹膜和鞏膜等構(gòu)成[41]。角膜是附著在眼球前部的含有豐富神經(jīng)的透明組織，與其相反的是包圍著眼球的剩余部分的不透明的鞏膜。虹膜呈環(huán)狀，位于晶狀體前方，瞳孔位于虹膜的中央。晶狀體位于瞳孔的后方，功能好比相機(jī)鏡頭。當(dāng)人觀察某一物體時(shí)，物體反射的光線進(jìn)入人眼，首先接觸的是最前入哨口角膜，然后通過瞳孔，虹膜的環(huán)狀肌的作用為調(diào)整瞳孔的大小以控制進(jìn)入人眼的光通量，類似相機(jī)光圈調(diào)節(jié)，最后光線到達(dá)晶狀體。晶狀體起著相機(jī)鏡頭的作用，改變焦距，使不同距離景物都可以在視網(wǎng)膜上成像。視網(wǎng)膜上的視網(wǎng)神經(jīng)能把光線的刺激轉(zhuǎn)變成神經(jīng)信息，然后通過神經(jīng)將這些信息信號(hào)傳遞給大腦皮層，這樣人類就可以認(rèn)知和理解物體，形成視覺。
.......

第三章 基于小波域和時(shí)域的視頻質(zhì)量評(píng)價(jià)........19
3.1 引言....... 19
3.2 圖像區(qū)域劃分... 20
3.3 向量距離公式... 21
3.4 視頻質(zhì)量評(píng)價(jià)算法....... 22
3.5 實(shí)驗(yàn)....... 26
3.6 本章小結(jié)..... 31
第四章 基于小波低頻系數(shù)和顯著信息的視頻質(zhì)量評(píng)價(jià)......32
4.1 引言....... 32
4.2 運(yùn)動(dòng)估計(jì)與運(yùn)動(dòng)補(bǔ)償... 33
4.3 顯著信息的提取..... 34
4.4 視頻質(zhì)量評(píng)價(jià)算法....... 35
4.5 實(shí)驗(yàn)....... 40
4.6 本章小結(jié)..... 42
第五章 主要結(jié)論與展望....43
5.1 主要結(jié)論..... 43
5.2 展望....... 43

第四章 基于小波低頻系數(shù)和顯著信息的視頻質(zhì)量評(píng)價(jià)

4.1 引言
隨著視頻點(diǎn)播、數(shù)字電視、視頻會(huì)議 、網(wǎng)絡(luò)傳說視頻流等網(wǎng)絡(luò)視頻相關(guān)應(yīng)用的快速發(fā)展，數(shù)字視頻越來越融入到人們的日常生活中。從視頻的獲取終端到最終被人眼接受的過程中確保視頻的質(zhì)量是非常必要的。所以需要建立相應(yīng)的視頻質(zhì)量評(píng)價(jià)方法來監(jiān)視視頻的傳輸信道的參數(shù)及其他參數(shù)，以此來降低視頻的失真度。評(píng)價(jià)視頻質(zhì)量的方法主要為主觀視頻質(zhì)量評(píng)價(jià)和客觀視頻質(zhì)量評(píng)價(jià)。主觀質(zhì)量評(píng)價(jià)為最可靠的方法，但是需要觀察者進(jìn)行打分，且消耗時(shí)間長(zhǎng)，不易控制和移植到系統(tǒng)應(yīng)用中。客觀質(zhì)量評(píng)價(jià)通過設(shè)計(jì)數(shù)學(xué)模型通過計(jì)算機(jī)進(jìn)行智能和自動(dòng)化的對(duì)視頻進(jìn)行評(píng)分，這種方法易于移植到實(shí)際的應(yīng)用中，所以客觀視頻質(zhì)量評(píng)價(jià)算法的研究是人們關(guān)注的熱點(diǎn)。比較成熟的客觀視頻質(zhì)量評(píng)價(jià)模型有 MSE、PSNR、SSIM 和 MSSIM 等，這些模型盡管計(jì)算簡(jiǎn)單，但是忽略了觀察者的條件和人眼視覺系統(tǒng)的特性。Han 等[68]針對(duì)移動(dòng)視頻流通過提取視頻的運(yùn)動(dòng)矢量，然后對(duì)運(yùn)動(dòng)矢量建立拉普拉斯模型，然后利用運(yùn)動(dòng)矢量的直方圖進(jìn)行視頻質(zhì)量評(píng)價(jià)。張富強(qiáng)等[69]運(yùn)用四元數(shù)把像素的亮度信息、色度信息、邊緣能量信息以及殘差能量信息結(jié)合起來用四元數(shù)進(jìn)行表示，之后進(jìn)行奇異值分解，然后運(yùn)用失真塊的熵值進(jìn)行視覺感興趣加權(quán)得到視頻質(zhì)量評(píng)價(jià)指標(biāo)。盧等[70]利用三維多尺度 Gabor 濾波器對(duì)視頻進(jìn)行分解，然后從空時(shí)帶通信號(hào)的運(yùn)動(dòng)估計(jì)、時(shí)域誤差、空域誤差等方向得到視頻質(zhì)量的評(píng)價(jià)指標(biāo)。以上大部分的研究工作主要從提取視頻的運(yùn)動(dòng)信息或者直接從評(píng)價(jià)視頻圖像的空域質(zhì)量來對(duì)視頻進(jìn)行質(zhì)量評(píng)價(jià)，缺乏對(duì)人眼感知的考慮，或者沒有考慮到視頻的運(yùn)動(dòng)特性，最終評(píng)價(jià)結(jié)果與主觀感知的相關(guān)性仍不夠接近。鄭江云[71]提出了根據(jù)人眼感興趣區(qū)域和小波系數(shù)的特點(diǎn)提出了一種全參考圖像質(zhì)量方法，本文算法在此基礎(chǔ)上進(jìn)行改進(jìn)，結(jié)合了視頻的運(yùn)動(dòng)特性，把其擴(kuò)展到視頻質(zhì)量評(píng)價(jià)方法中。

結(jié)論

隨著寬帶數(shù)字網(wǎng)絡(luò)的飛速發(fā)展，超大規(guī)模集成電路技術(shù)(VLSI)和高速多媒體專用芯片的問世，各類多媒體技術(shù)在現(xiàn)實(shí)中的應(yīng)用，視頻質(zhì)量評(píng)價(jià)算法的研究得到了越來越多的重視。視頻質(zhì)量評(píng)價(jià)算法分為主觀視頻質(zhì)量評(píng)價(jià)算法和客觀視頻質(zhì)量評(píng)價(jià)算法。主觀視頻質(zhì)量評(píng)價(jià)算法通過人眼判斷視頻圖像質(zhì)量，由于過程復(fù)雜、耗時(shí)耗力、影響因素多，不適合即時(shí)應(yīng)用，但是主觀視頻質(zhì)量評(píng)價(jià)算法常用來檢測(cè)客觀視頻質(zhì)量評(píng)價(jià)算法的性能�？陀^視頻質(zhì)量評(píng)價(jià)算法由計(jì)算機(jī)自動(dòng)的預(yù)測(cè)視頻圖像的質(zhì)量，簡(jiǎn)單易用，但是客觀視頻質(zhì)量評(píng)價(jià)算法不及主觀視頻質(zhì)量評(píng)價(jià)算法預(yù)測(cè)準(zhǔn)確�？陀^視頻質(zhì)量評(píng)價(jià)算法的性能好壞在于是否其預(yù)測(cè)結(jié)果與主觀視頻質(zhì)量評(píng)價(jià)算法預(yù)測(cè)結(jié)果相一致。客觀視頻質(zhì)量評(píng)價(jià)算法為本文的研究對(duì)象，客觀視頻質(zhì)量評(píng)價(jià)算法又分為：全參考視頻質(zhì)量評(píng)價(jià)算法、半?yún)⒖家曨l質(zhì)量評(píng)價(jià)算法和無參考視頻質(zhì)量評(píng)價(jià)算法。本文主要研究的內(nèi)容為全參考視頻質(zhì)量評(píng)價(jià)算法，通過研究得以下兩點(diǎn)結(jié)論：
1、通過對(duì)“基于小波域和時(shí)域的視頻質(zhì)量評(píng)價(jià)算法”的研究發(fā)現(xiàn)：通過對(duì)視頻圖像的區(qū)域劃分可以之后，可以根據(jù)人眼對(duì)不同區(qū)域的敏感度不同，選擇不同的加權(quán)因子；小波變換可以有效的將視頻圖像的處理轉(zhuǎn)化到頻域內(nèi)處理，小波變換可以有效的提取視頻圖像的高頻信息和低頻信息；歐式距離、切比雪夫距離、曼哈頓距離可以有效的衡量?jī)煞�視頻圖像的相似度；根據(jù)人眼對(duì)連續(xù)視頻幀質(zhì)量變換才在不對(duì)稱感知，通過感知模型對(duì)視頻的每幀質(zhì)量分進(jìn)行預(yù)處理，可以有效的表現(xiàn)出視頻的特性，提高視頻質(zhì)量的評(píng)價(jià)效果。
2、通過對(duì)“基于小波低頻系數(shù)和顯著信息的視頻質(zhì)量評(píng)價(jià)算法”的研究發(fā)現(xiàn)：小波變換后的低頻系數(shù)可以有效的反映視頻圖像的質(zhì)量；通過對(duì)小波變換后的細(xì)節(jié)反變換重構(gòu)的圖像和提取的視頻圖像的顯著圖比較，視頻圖像顯著圖在一定程度上展現(xiàn)了細(xì)節(jié)系數(shù)的方面，此外也展現(xiàn)圖像中的其他吸引注意力的區(qū)域；人眼對(duì)提出的視覺顯著給予更多的關(guān)注，顯著圖更能好的展現(xiàn)出于人眼視覺系統(tǒng)相符的特性；運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償能夠更加充分的表現(xiàn)出視頻的時(shí)域方向上的運(yùn)動(dòng)特性，能夠更好的對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)。
............
參考文獻(xiàn)（略）