【摘要】 表演驅(qū)動(dòng)的表情動(dòng)畫實(shí)時(shí)合成技術(shù)是一項(xiàng)根據(jù)演員的面部表情動(dòng)作實(shí)時(shí)驅(qū)動(dòng)虛擬化身的臉部模型做出相同表情的技術(shù),在視頻游戲、遠(yuǎn)程會(huì)議、虛擬現(xiàn)實(shí)、人機(jī)交互等方面都有廣泛的應(yīng)用,近年來一直是多媒體技術(shù)領(lǐng)域的一個(gè)研究熱點(diǎn)。本文在研究表演驅(qū)動(dòng)的表情動(dòng)畫合成關(guān)鍵算法的基礎(chǔ)上,開發(fā)實(shí)現(xiàn)了一套表演驅(qū)動(dòng)的實(shí)時(shí)人臉表情動(dòng)畫合成系統(tǒng)。本文的主要工作內(nèi)容和創(chuàng)新性成果如下：1.提出了一套表演驅(qū)動(dòng)的實(shí)時(shí)人臉表情動(dòng)畫合成系統(tǒng)方案,該方案首次將骨骼蒙皮模型用于表演驅(qū)動(dòng)的人臉表情動(dòng)畫合成系統(tǒng)。骨骼蒙皮模型是一個(gè)仿生模型,與其他模型相比,具有真實(shí)感強(qiáng)、易于驅(qū)動(dòng)的優(yōu)點(diǎn)。該系統(tǒng)具有實(shí)時(shí)、易用(用戶使用前不需要任何訓(xùn)練過程)和對(duì)用戶無侵入的優(yōu)點(diǎn)。2.表演者人臉的檢測和跟蹤。本文提出首先使用Viola-Jones算法進(jìn)行人臉檢測,然后采用Mean Shift算法進(jìn)行人臉跟蹤。針對(duì)Viola-Jones算法時(shí)間復(fù)雜性高和Mean Shift算法對(duì)背景色彩魯棒性差的問題,本文進(jìn)一步引入了基于深度圖的預(yù)分割技術(shù),改善了系統(tǒng)的時(shí)間效率和魯棒性。3.人臉模型表情控制參數(shù)的生成。本文提出首先利用彩色圖像,采用AAM算法對(duì)人臉二維特征點(diǎn)進(jìn)行定位,然后利用已定位的二維特征點(diǎn)作為約束條件,結(jié)合深度圖像生成三維人臉模型-Candide-3模型中的人臉表情參數(shù)。彩色圖和深度圖的綜合使用,改善了所生成動(dòng)畫參數(shù)的準(zhǔn)確性和穩(wěn)定性。4.原型系統(tǒng)的開發(fā)。結(jié)合算法研究,本文開發(fā)實(shí)現(xiàn)了一套表演驅(qū)動(dòng)的實(shí)時(shí)人臉表情動(dòng)畫合成系統(tǒng),采用3ds Max軟件繪制人臉骨骼蒙皮模型,使用微軟Kinect采集表演者面部的RGB-D視頻,軟件處理后生成表情動(dòng)畫控制參數(shù),通過MIDI通信協(xié)議傳送給3ds Max,驅(qū)動(dòng)人臉骨骼蒙皮模型,合成表情動(dòng)畫。實(shí)驗(yàn)表明,該系統(tǒng)可以將表演者的常規(guī)表情有效地克隆到虛擬人臉模型上,以30幀／秒的速度合成表情動(dòng)畫。
 
【關(guān)鍵詞】 表演驅(qū)動(dòng)； 表情動(dòng)畫； Candide-3模型； 骨骼蒙皮模型； 深度圖；

第1章緒論

1.1課題背景與意義
中國動(dòng)漫產(chǎn)業(yè)雖然起步較晚，但是已經(jīng)表現(xiàn)出來了巨大的市場潛力�！�“十二五”時(shí)期國家動(dòng)漫產(chǎn)業(yè)發(fā)展規(guī)劃》對(duì)我國動(dòng)漫產(chǎn)業(yè)的發(fā)展情況進(jìn)行了總結(jié)：20]1年，我國動(dòng)漫產(chǎn)業(yè)持續(xù)發(fā)展，產(chǎn)業(yè)規(guī)模進(jìn)一步擴(kuò)大，動(dòng)漫產(chǎn)業(yè)產(chǎn)值達(dá)621.72億元，較2010年增長32.04%。2012年，《十七大以來中國動(dòng)漫產(chǎn)業(yè)發(fā)展成果展》在中國國家博物館開幕，據(jù)此次展覽介紹，到“十二五”期末，中國動(dòng)漫產(chǎn)業(yè)產(chǎn)值將達(dá)到1000億元人民幣，比“十一五”末至少翻一番。
作為動(dòng)漫產(chǎn)業(yè)體系的一個(gè)關(guān)鍵課題，人臉表情動(dòng)畫研究一直是多煤體技術(shù)領(lǐng)域的一個(gè)熱門研究領(lǐng)域。人臉表情動(dòng)畫的目的是利用動(dòng)畫中人臉的姿態(tài)和面部運(yùn)動(dòng)來形象生動(dòng)地表迖某個(gè)角色的表情和情感。在動(dòng)漫方面，《功夫熊貓》、《指環(huán)王》、《阿凡達(dá)》這些風(fēng)靡全球的影片的成功都離不開人臉表情動(dòng)畫技術(shù)。《功夫熊貓》中阿寶吃東西時(shí)夸張的動(dòng)作，《阿凡達(dá)》中，阿凡達(dá)細(xì)膩真實(shí)的表情都是表情動(dòng)畫最經(jīng)典的體現(xiàn)和應(yīng)用。另外，現(xiàn)在人臉表情動(dòng)畫技術(shù)在視頻游戲、遠(yuǎn)程會(huì)議、虛擬現(xiàn)實(shí)、人機(jī)交互等方面都有廣泛的應(yīng)用。

1.2國內(nèi)外發(fā)展現(xiàn)狀
表演驅(qū)動(dòng)人臉表情動(dòng)畫合成技術(shù)涉及計(jì)算機(jī)視覺、模式識(shí)別、機(jī)器智能和心理生理等多方面的研究課題，是一個(gè)交叉性很強(qiáng)的研究領(lǐng)域。它主要包括表演人臉表情捕捉和人臉動(dòng)畫合成兩個(gè)關(guān)鍵步驟，下面就從這兩個(gè)方面介紹一下表演驅(qū)動(dòng)人臉動(dòng)畫的國內(nèi)外研究現(xiàn)狀。
.............

第2章表演驅(qū)動(dòng)人臉動(dòng)畫合成方案

表演驅(qū)動(dòng)人臉表情動(dòng)畫合成技術(shù)是一項(xiàng)動(dòng)畫控制技術(shù)，它的目的是根據(jù)演員的面部表情動(dòng)作實(shí)時(shí)驅(qū)動(dòng)虛擬化身的臉部模型做出相同表情，從而生成表情動(dòng)畫。表演驅(qū)動(dòng)人臉表情動(dòng)畫合成系統(tǒng)主要包括人臉表情動(dòng)作捕捉和人臉表情動(dòng)畫合成兩個(gè)關(guān)鍵步驟，具體框圖見下方：

2.1現(xiàn)有的表演現(xiàn)動(dòng)人臉表情動(dòng)畫合成方案
在表演驅(qū)動(dòng)的人臉表情動(dòng)畫合成系統(tǒng)中，使用什么人臉表情動(dòng)畫模型，就對(duì)應(yīng)要提取什么動(dòng)畫控制參數(shù)，因此也就會(huì)有不同的系統(tǒng)方案�，F(xiàn)有的表演驅(qū)動(dòng)人臉表情動(dòng)畫合成系統(tǒng)方案主要包括：1.基于點(diǎn)對(duì)點(diǎn)控制的方案一個(gè)人臉模型從本質(zhì)上來說就是一個(gè)稠密點(diǎn)集，基于點(diǎn)對(duì)點(diǎn)的控制方案就是跟蹤到人臉的稀疏點(diǎn)集，利用插值方法映射到人臉模型上的稍密點(diǎn)集，文獻(xiàn)就是用的基于點(diǎn)對(duì)點(diǎn)的控制方法。該方法的具體程序如圖2.2所示。
該方案的主要優(yōu)點(diǎn)就是思路直接，實(shí)現(xiàn)簡單，但是它的連續(xù)性差，對(duì)人臉關(guān)鍵點(diǎn)的定位要求高，一般要在人臉上貼上標(biāo)記，并且需要復(fù)雜的人臉關(guān)鍵點(diǎn)定位系統(tǒng)。文獻(xiàn)使用的設(shè)備是DVMC-8820，該設(shè)備有8個(gè)紅外攝像頭組成，60HZ的捕捉速率，但是要求演員的頭部旋轉(zhuǎn)要小于5度，移動(dòng)范圍不超過頭直徑的1/20,如圖2.3所示。

2.2改進(jìn)的表演驅(qū)動(dòng)人臉表情動(dòng)畫合成方案
實(shí)時(shí)性、無侵入性、易用性和自動(dòng)化是表演驅(qū)動(dòng)的人臉表情動(dòng)畫合成系統(tǒng)的重要指標(biāo)，為了實(shí)現(xiàn)這些指標(biāo)，本文在現(xiàn)有方案的基礎(chǔ)上進(jìn)行改進(jìn)，提出了一個(gè)實(shí)時(shí)的、易用的、無侵入的：完全自動(dòng)的表演驅(qū)動(dòng)人臉表情動(dòng)畫系統(tǒng)，系統(tǒng)方案如圖2.8所示。
該方案首次將骨路蒙皮模型應(yīng)用到表演驅(qū)動(dòng)人臉表情動(dòng)畫系統(tǒng)中，另外為了實(shí)時(shí)提取人臉動(dòng)畫控制參數(shù)，本方案在人臉檢測，跟蹤和動(dòng)畫參數(shù)提取階段都引入了深度圖。本章將詳細(xì)介紹骨盤蒙皮模型，后面幾章再詳細(xì)介紹人臉檢測和跟蹤，骨路蒙皮模型參數(shù)提取和系統(tǒng)實(shí)現(xiàn)。
是最接近本質(zhì)的建模方法，但是人臉復(fù)雜的肌肉群配置，骨器運(yùn)動(dòng)和肌肉運(yùn)動(dòng)關(guān)系的配置，肌肉運(yùn)動(dòng)和皮膚運(yùn)動(dòng)關(guān)系的配置都需要大量的工作，計(jì)算量非常大，而且有些肌肉的運(yùn)動(dòng)機(jī)制也不是完全清楚的，所以完全意義上的肌肉模型是不可能的。我們提出了一種利用骨愁蒙皮方法模擬肌肉模型的替代方法，同時(shí)考慮人臉某些關(guān)鍵器官（比如眼球運(yùn)動(dòng)）的特殊運(yùn)動(dòng)，采用特殊的建模方法。下面將詳細(xì)介紹肌肉模型和骨路蒙皮模型，并說明利用骨能蒙皮模型替代肌肉模型的合理性。

第3章表演者的人臉檢測與跟蹤........ 26
3.1算法流程設(shè)計(jì)......... 26
第4章人臉表情動(dòng)畫參數(shù)生成 ........47
4.1 FACS 系統(tǒng) ..........47
第5章原型系統(tǒng)實(shí)現(xiàn)... 66
5.1系統(tǒng)流程....... 66

第5章原型系統(tǒng)實(shí)現(xiàn)

5.1系統(tǒng)流程
本文利用前文的技術(shù)方案開發(fā)了一個(gè)表演驅(qū)動(dòng)的實(shí)時(shí)人臉表情動(dòng)畫的平臺(tái)，系統(tǒng)流程圖如圖5.1所示。

5.2動(dòng)畫參數(shù)生成
本文的彩色和深度圖的采集設(shè)備是徵軟的Kinect。Kinect以30偵/秒的速度同時(shí)采集彩色圖和深度圖，分辨率分別為640*480和320*240。.我們利用追蹤到的二維關(guān)鍵點(diǎn)來指導(dǎo)確定ICP算法中三維模型點(diǎn)與深度點(diǎn)云之間的初始對(duì)應(yīng)點(diǎn)對(duì)，但是有一個(gè)問題是我們能夠追蹤到的二維關(guān)鍵點(diǎn)并不總是與三維模型點(diǎn)對(duì)應(yīng)，如圖5.2和圖5.3所示。
藍(lán)色的點(diǎn)指的是嘴部外輪廓，眼睛輪廓和眉毛輪廓點(diǎn)。在Candide-3模型上也分別存在描述這些器官輪廓的點(diǎn)，但是和二維關(guān)鍵點(diǎn)并不是一一對(duì)應(yīng)的。對(duì)于這組點(diǎn)的處理方法是（以嘴巴的外輪廊點(diǎn)為例）：首先將二維特征點(diǎn)連接成線，形成嘴巴的外輪廊線，如圖5.4所示；然后將Candide-3模型上描述嘴巴外輪廊的點(diǎn)映射到彩色圖上，找到外輪廊線上與該點(diǎn)離的最近的點(diǎn)，然后將此點(diǎn)映射到深度點(diǎn)云圖上，映射到的點(diǎn)就是要找的對(duì)應(yīng)點(diǎn)。
第三組點(diǎn)是紅色點(diǎn)，也就是人臉的外輪廟點(diǎn)。這組的與藍(lán)色點(diǎn)組非常相似，?所以映射方法也和藍(lán)色組相同。唯一不同的一點(diǎn)是，這組點(diǎn)很容易映射到深度點(diǎn)云圖的背景上，這樣的話深度就會(huì)發(fā)生巨大變化，所以在計(jì)算模型點(diǎn)和深度點(diǎn)云點(diǎn)的距離的時(shí)候就忽略了深度值這一項(xiàng)。最后一組是白色點(diǎn)組，目前我們還沒有用在本平臺(tái)中。我們跟蹤得到的Candi(ie-3網(wǎng)格圖如圖5.5所示。
.........

第6章總結(jié)與展望

表演驅(qū)動(dòng)的實(shí)時(shí)人臉表情動(dòng)畫合成技術(shù)是一項(xiàng)根據(jù)演員的表情動(dòng)作實(shí)時(shí)合成數(shù)字人臉相同表情的技術(shù)，廣泛應(yīng)用于人機(jī)交互，遠(yuǎn)程會(huì)議，游戲，動(dòng)漫，電子商務(wù)和醫(yī)療等領(lǐng)域中，近年來一直是計(jì)算機(jī)科學(xué)領(lǐng)域的一個(gè)研究熱點(diǎn)。本文在分析現(xiàn)有系統(tǒng)的基礎(chǔ)上，提出了一個(gè)實(shí)時(shí)的表演驅(qū)動(dòng)人臉表情動(dòng)畫系統(tǒng)，并開發(fā)了原型系統(tǒng)平臺(tái)。該系統(tǒng)綜合利用彩色圖像和深度圖像對(duì)表演者的人臉進(jìn)行跟蹤和檢測，然后在此基礎(chǔ)上利用AAM算法定位人臉2D關(guān)鍵點(diǎn)，并依此為約束，利用ICP算法生成Candide-3模型中的動(dòng)畫參數(shù)AU。AU和骨骼案皮模型中的骨骼一樣具有直觀的物理意義，我們利用MIDI通信協(xié)議，將AU傳輸給3ds Max,在3ds Max中利用人臉骨骼蒙皮模型渲染出和表演者相同表情的數(shù)字阿凡達(dá)。和現(xiàn)有系統(tǒng)相比，本系統(tǒng)具有實(shí)時(shí),易用(用戶使用前不需要訓(xùn)練過程),對(duì)用戶無侵入性的優(yōu)點(diǎn)。

...........

參考文獻(xiàn)：

• [1] 司倩倩,樊養(yǎng)余.  一種用于人臉動(dòng)畫的擬合抽象肌肉模型[J]. 現(xiàn)代電子技術(shù). 2011(10)
• [2] 解則曉,徐尚.  三維點(diǎn)云數(shù)據(jù)拼接中ICP及其改進(jìn)算法綜述[J]. 中國海洋大學(xué)學(xué)報(bào)(自然科學(xué)版). 2010(01)
• [3] 徐先良,沈縈華,費(fèi)廣正,石民勇.  計(jì)算機(jī)人臉建模和動(dòng)畫技術(shù)綜述[J]. 北京廣播學(xué)院學(xué)報(bào)(自然科學(xué)版). 2005(01)
• [4] 楊程云,沈介文.  基于抽象肌肉模型的人臉表情動(dòng)畫實(shí)現(xiàn)[J]. 計(jì)算機(jī)工程. 2002(08)