【摘要】 表演驅(qū)動的表情動畫實時合成技術(shù)是一項根據(jù)演員的面部表情動作實時驅(qū)動虛擬化身的臉部模型做出相同表情的技術(shù),在視頻游戲、遠(yuǎn)程會議、虛擬現(xiàn)實、人機交互等方面都有廣泛的應(yīng)用,近年來一直是多媒體技術(shù)領(lǐng)域的一個研究熱點。本文在研究表演驅(qū)動的表情動畫合成關(guān)鍵算法的基礎(chǔ)上,開發(fā)實現(xiàn)了一套表演驅(qū)動的實時人臉表情動畫合成系統(tǒng)。本文的主要工作內(nèi)容和創(chuàng)新性成果如下：1.提出了一套表演驅(qū)動的實時人臉表情動畫合成系統(tǒng)方案,該方案首次將骨骼蒙皮模型用于表演驅(qū)動的人臉表情動畫合成系統(tǒng)。骨骼蒙皮模型是一個仿生模型,與其他模型相比,具有真實感強、易于驅(qū)動的優(yōu)點。該系統(tǒng)具有實時、易用(用戶使用前不需要任何訓(xùn)練過程)和對用戶無侵入的優(yōu)點。2.表演者人臉的檢測和跟蹤。本文提出首先使用Viola-Jones算法進行人臉檢測,然后采用Mean Shift算法進行人臉跟蹤。針對Viola-Jones算法時間復(fù)雜性高和Mean Shift算法對背景色彩魯棒性差的問題,本文進一步引入了基于深度圖的預(yù)分割技術(shù),改善了系統(tǒng)的時間效率和魯棒性。3.人臉模型表情控制參數(shù)的生成。本文提出首先利用彩色圖像,采用AAM算法對人臉二維特征點進行定位,然后利用已定位的二維特征點作為約束條件,結(jié)合深度圖像生成三維人臉模型-Candide-3模型中的人臉表情參數(shù)。彩色圖和深度圖的綜合使用,改善了所生成動畫參數(shù)的準(zhǔn)確性和穩(wěn)定性。4.原型系統(tǒng)的開發(fā)。結(jié)合算法研究,本文開發(fā)實現(xiàn)了一套表演驅(qū)動的實時人臉表情動畫合成系統(tǒng),采用3ds Max軟件繪制人臉骨骼蒙皮模型,使用微軟Kinect采集表演者面部的RGB-D視頻,軟件處理后生成表情動畫控制參數(shù),通過MIDI通信協(xié)議傳送給3ds Max,驅(qū)動人臉骨骼蒙皮模型,合成表情動畫。實驗表明,該系統(tǒng)可以將表演者的常規(guī)表情有效地克隆到虛擬人臉模型上,以30幀／秒的速度合成表情動畫。
 
【關(guān)鍵詞】 表演驅(qū)動； 表情動畫； Candide-3模型； 骨骼蒙皮模型； 深度圖；

第1章緒論

1.1課題背景與意義
中國動漫產(chǎn)業(yè)雖然起步較晚，但是已經(jīng)表現(xiàn)出來了巨大的市場潛力�！�“十二五”時期國家動漫產(chǎn)業(yè)發(fā)展規(guī)劃》對我國動漫產(chǎn)業(yè)的發(fā)展情況進行了總結(jié)：20]1年，我國動漫產(chǎn)業(yè)持續(xù)發(fā)展，產(chǎn)業(yè)規(guī)模進一步擴大，動漫產(chǎn)業(yè)產(chǎn)值達621.72億元，較2010年增長32.04%。2012年，《十七大以來中國動漫產(chǎn)業(yè)發(fā)展成果展》在中國國家博物館開幕，據(jù)此次展覽介紹，到“十二五”期末，中國動漫產(chǎn)業(yè)產(chǎn)值將達到1000億元人民幣，比“十一五”末至少翻一番。
作為動漫產(chǎn)業(yè)體系的一個關(guān)鍵課題，人臉表情動畫研究一直是多煤體技術(shù)領(lǐng)域的一個熱門研究領(lǐng)域。人臉表情動畫的目的是利用動畫中人臉的姿態(tài)和面部運動來形象生動地表迖某個角色的表情和情感。在動漫方面，《功夫熊貓》、《指環(huán)王》、《阿凡達》這些風(fēng)靡全球的影片的成功都離不開人臉表情動畫技術(shù)�！豆Ψ蛐茇垺分邪�寶吃東西時夸張的動作，《阿凡達》中，阿凡達細(xì)膩真實的表情都是表情動畫最經(jīng)典的體現(xiàn)和應(yīng)用。另外，現(xiàn)在人臉表情動畫技術(shù)在視頻游戲、遠(yuǎn)程會議、虛擬現(xiàn)實、人機交互等方面都有廣泛的應(yīng)用。

1.2國內(nèi)外發(fā)展現(xiàn)狀
表演驅(qū)動人臉表情動畫合成技術(shù)涉及計算機視覺、模式識別、機器智能和心理生理等多方面的研究課題，是一個交叉性很強的研究領(lǐng)域。它主要包括表演人臉表情捕捉和人臉動畫合成兩個關(guān)鍵步驟，下面就從這兩個方面介紹一下表演驅(qū)動人臉動畫的國內(nèi)外研究現(xiàn)狀。
.............

第2章表演驅(qū)動人臉動畫合成方案

表演驅(qū)動人臉表情動畫合成技術(shù)是一項動畫控制技術(shù)，它的目的是根據(jù)演員的面部表情動作實時驅(qū)動虛擬化身的臉部模型做出相同表情，從而生成表情動畫。表演驅(qū)動人臉表情動畫合成系統(tǒng)主要包括人臉表情動作捕捉和人臉表情動畫合成兩個關(guān)鍵步驟，具體框圖見下方：

2.1現(xiàn)有的表演現(xiàn)動人臉表情動畫合成方案
在表演驅(qū)動的人臉表情動畫合成系統(tǒng)中，使用什么人臉表情動畫模型，就對應(yīng)要提取什么動畫控制參數(shù)，因此也就會有不同的系統(tǒng)方案。現(xiàn)有的表演驅(qū)動人臉表情動畫合成系統(tǒng)方案主要包括：1.基于點對點控制的方案一個人臉模型從本質(zhì)上來說就是一個稠密點集，基于點對點的控制方案就是跟蹤到人臉的稀疏點集，利用插值方法映射到人臉模型上的稍密點集，文獻就是用的基于點對點的控制方法。該方法的具體程序如圖2.2所示。
該方案的主要優(yōu)點就是思路直接，實現(xiàn)簡單，但是它的連續(xù)性差，對人臉關(guān)鍵點的定位要求高，一般要在人臉上貼上標(biāo)記，并且需要復(fù)雜的人臉關(guān)鍵點定位系統(tǒng)。文獻使用的設(shè)備是DVMC-8820，該設(shè)備有8個紅外攝像頭組成，60HZ的捕捉速率，但是要求演員的頭部旋轉(zhuǎn)要小于5度，移動范圍不超過頭直徑的1/20,如圖2.3所示。

2.2改進的表演驅(qū)動人臉表情動畫合成方案
實時性、無侵入性、易用性和自動化是表演驅(qū)動的人臉表情動畫合成系統(tǒng)的重要指標(biāo)，為了實現(xiàn)這些指標(biāo)，本文在現(xiàn)有方案的基礎(chǔ)上進行改進，提出了一個實時的、易用的、無侵入的：完全自動的表演驅(qū)動人臉表情動畫系統(tǒng)，系統(tǒng)方案如圖2.8所示。
該方案首次將骨路蒙皮模型應(yīng)用到表演驅(qū)動人臉表情動畫系統(tǒng)中，另外為了實時提取人臉動畫控制參數(shù)，本方案在人臉檢測，跟蹤和動畫參數(shù)提取階段都引入了深度圖。本章將詳細(xì)介紹骨盤蒙皮模型，后面幾章再詳細(xì)介紹人臉檢測和跟蹤，骨路蒙皮模型參數(shù)提取和系統(tǒng)實現(xiàn)。
是最接近本質(zhì)的建模方法，但是人臉復(fù)雜的肌肉群配置，骨器運動和肌肉運動關(guān)系的配置，肌肉運動和皮膚運動關(guān)系的配置都需要大量的工作，計算量非常大，而且有些肌肉的運動機制也不是完全清楚的，所以完全意義上的肌肉模型是不可能的。我們提出了一種利用骨愁蒙皮方法模擬肌肉模型的替代方法，同時考慮人臉某些關(guān)鍵器官（比如眼球運動）的特殊運動，采用特殊的建模方法。下面將詳細(xì)介紹肌肉模型和骨路蒙皮模型，并說明利用骨能蒙皮模型替代肌肉模型的合理性。

第3章表演者的人臉檢測與跟蹤........ 26
3.1算法流程設(shè)計......... 26
第4章人臉表情動畫參數(shù)生成 ........47
4.1 FACS 系統(tǒng) ..........47
第5章原型系統(tǒng)實現(xiàn)... 66
5.1系統(tǒng)流程....... 66

第5章原型系統(tǒng)實現(xiàn)

5.1系統(tǒng)流程
本文利用前文的技術(shù)方案開發(fā)了一個表演驅(qū)動的實時人臉表情動畫的平臺，系統(tǒng)流程圖如圖5.1所示。

5.2動畫參數(shù)生成
本文的彩色和深度圖的采集設(shè)備是徵軟的Kinect。Kinect以30偵/秒的速度同時采集彩色圖和深度圖，分辨率分別為640*480和320*240。.我們利用追蹤到的二維關(guān)鍵點來指導(dǎo)確定ICP算法中三維模型點與深度點云之間的初始對應(yīng)點對，但是有一個問題是我們能夠追蹤到的二維關(guān)鍵點并不總是與三維模型點對應(yīng)，如圖5.2和圖5.3所示。
藍色的點指的是嘴部外輪廓，眼睛輪廓和眉毛輪廓點。在Candide-3模型上也分別存在描述這些器官輪廓的點，但是和二維關(guān)鍵點并不是一一對應(yīng)的。對于這組點的處理方法是（以嘴巴的外輪廊點為例）：首先將二維特征點連接成線，形成嘴巴的外輪廊線，如圖5.4所示；然后將Candide-3模型上描述嘴巴外輪廊的點映射到彩色圖上，找到外輪廊線上與該點離的最近的點，然后將此點映射到深度點云圖上，映射到的點就是要找的對應(yīng)點。
第三組點是紅色點，也就是人臉的外輪廟點。這組的與藍色點組非常相似，?所以映射方法也和藍色組相同。唯一不同的一點是，這組點很容易映射到深度點云圖的背景上，這樣的話深度就會發(fā)生巨大變化，所以在計算模型點和深度點云點的距離的時候就忽略了深度值這一項。最后一組是白色點組，目前我們還沒有用在本平臺中。我們跟蹤得到的Candi(ie-3網(wǎng)格圖如圖5.5所示。
.........

第6章總結(jié)與展望

表演驅(qū)動的實時人臉表情動畫合成技術(shù)是一項根據(jù)演員的表情動作實時合成數(shù)字人臉相同表情的技術(shù)，廣泛應(yīng)用于人機交互，遠(yuǎn)程會議，游戲，動漫，電子商務(wù)和醫(yī)療等領(lǐng)域中，近年來一直是計算機科學(xué)領(lǐng)域的一個研究熱點。本文在分析現(xiàn)有系統(tǒng)的基礎(chǔ)上，提出了一個實時的表演驅(qū)動人臉表情動畫系統(tǒng)，并開發(fā)了原型系統(tǒng)平臺。該系統(tǒng)綜合利用彩色圖像和深度圖像對表演者的人臉進行跟蹤和檢測，然后在此基礎(chǔ)上利用AAM算法定位人臉2D關(guān)鍵點，并依此為約束，利用ICP算法生成Candide-3模型中的動畫參數(shù)AU。AU和骨骼案皮模型中的骨骼一樣具有直觀的物理意義，我們利用MIDI通信協(xié)議，將AU傳輸給3ds Max,在3ds Max中利用人臉骨骼蒙皮模型渲染出和表演者相同表情的數(shù)字阿凡達。和現(xiàn)有系統(tǒng)相比，本系統(tǒng)具有實時,易用(用戶使用前不需要訓(xùn)練過程),對用戶無侵入性的優(yōu)點。

...........

參考文獻：

• [1] 司倩倩,樊養(yǎng)余.  一種用于人臉動畫的擬合抽象肌肉模型[J]. 現(xiàn)代電子技術(shù). 2011(10)
• [2] 解則曉,徐尚.  三維點云數(shù)據(jù)拼接中ICP及其改進算法綜述[J]. 中國海洋大學(xué)學(xué)報(自然科學(xué)版). 2010(01)
• [3] 徐先良,沈縈華,費廣正,石民勇.  計算機人臉建模和動畫技術(shù)綜述[J]. 北京廣播學(xué)院學(xué)報(自然科學(xué)版). 2005(01)
• [4] 楊程云,沈介文.  基于抽象肌肉模型的人臉表情動畫實現(xiàn)[J]. 計算機工程. 2002(08)