三維人臉辨別表情技術(shù)

人臉動畫最顯著的應(yīng)用是影視制作。在《終結(jié)者ⅱ》、《玩具總動員》、《真實(shí)的謊言》、《奪面雙雄》等電影的制作中都無不體現(xiàn)了人臉造型和動畫技術(shù)的魅力。動畫師總在不斷尋求更具發(fā)展?jié)摿Φ膭赢嬒到y(tǒng)，希望利用最新的學(xué)術(shù)研究成果來修改和擴(kuò)展當(dāng)前的動畫制作系統(tǒng)。人臉造型就是使用圖形建模工具，建立或者直接從真實(shí)環(huán)境中獲取人臉的三維模型。由于人臉形狀的復(fù)雜性和多樣性，通過手工方法建立模型需要具備相應(yīng)的生理學(xué)和圖形學(xué)知識，并且需要較多的時(shí)間和精力，所以，目前的發(fā)展趨勢是使用專用的設(shè)備或通過計(jì)算機(jī)視覺的方法自動獲得人臉的三維模型以及表面的顏色信息。

人臉動畫一直是計(jì)算機(jī)圖形學(xué)中的一個(gè)難題，涉及人臉面部多個(gè)器官的協(xié)調(diào)運(yùn)動，而且由于人臉肌肉結(jié)構(gòu)復(fù)雜，導(dǎo)致表情非常豐富。在現(xiàn)有的技術(shù)水平下，惟有表演驅(qū)動的人臉動畫技術(shù)能實(shí)現(xiàn)真實(shí)感三維人臉動畫合成的目的。

人臉形狀獲取

為了獲得面部幾何形態(tài)，通常有兩種主要的輸入途徑：三維輸入和二維輸入。最近也有人提出從人類學(xué)的定義構(gòu)造一個(gè)具備人臉各種特征的通用模型，并施加一定的約束，產(chǎn)生滿足要求的特定人臉模型。

1．三維輸入

幾何建模器(geometric modelers)是最傳統(tǒng)的面部造型工具。通過標(biāo)準(zhǔn)的計(jì)算機(jī)圖形技術(shù)可以進(jìn)行人臉面部大多數(shù)器官的幾何建模，并且可以設(shè)計(jì)任意的面部模型。但由于面部結(jié)構(gòu)的復(fù)雜性，該設(shè)計(jì)過程需要較多的時(shí)間和設(shè)計(jì)技巧。

使用三維掃描儀（3d scanner）和編碼光距離傳感器（coded light range sensor）是獲得人臉幾何形狀最直接的方法，這兩種方法都是依據(jù)三角測量學(xué)原理。 ct（計(jì)算機(jī)x射線斷層掃描）和mri（核磁共振成像術(shù)）通常用于醫(yī)學(xué)領(lǐng)域，這些方法不僅能夠獲取人臉的表面信息，而且還可以得到諸如骨骼和肌肉的內(nèi)部結(jié)構(gòu)。這些附加結(jié)構(gòu)對于更加精細(xì)的人臉建模和動畫以及在手術(shù)模擬等醫(yī)學(xué)應(yīng)用中非常有用。

2．二維輸入

基于立體圖像的照相測量術(shù)可以獲得面部形狀。先從不同的視點(diǎn)獲取物體的兩幅圖像，運(yùn)用圖像處理技術(shù)得到兩幅圖像中的匹配點(diǎn)，通過三角幾何學(xué)測量這些點(diǎn)的三維坐標(biāo)。由于自動搜尋匹配點(diǎn)是一個(gè)難題，所以有時(shí)需要在臉部描繪網(wǎng)格。如果向面部投射一個(gè)規(guī)則的結(jié)構(gòu)光（如線陣或方形網(wǎng)格），那么就可以直接從一幅二維圖像中得到面部的三維形狀。

3．人體測量學(xué)

基于人類學(xué)知識而不用圖像可以輔助構(gòu)造不同的人臉模型。這種方法分兩步構(gòu)造一張新的人臉：第一步，依據(jù)人體測量學(xué)統(tǒng)計(jì)數(shù)據(jù)產(chǎn)生對人臉形狀的一組幾何約束尺度集；第二步，用一個(gè)約束優(yōu)化技術(shù)構(gòu)造滿足幾何約束的曲面。盡管該方法能快速創(chuàng)建出令人稱道的人臉幾何的變化，但不能在顏色、皺紋、表情和頭發(fā)方面得到真實(shí)的再現(xiàn)。

模型重構(gòu)和特定人臉適配

利用距離掃描儀、數(shù)字化探針或立體視差能測量得到人臉模型采樣點(diǎn)的三維坐標(biāo)，但獲得的幾何模型因?yàn)闆]有人臉結(jié)構(gòu)信息，通常不適于臉部動畫。而且從各種途徑獲得的三維數(shù)據(jù)通常是龐大的散亂點(diǎn)集合，所以，為了能夠用于動畫制作，往往需要對其進(jìn)行幾何構(gòu)形，將得到的數(shù)據(jù)精簡到最少，這樣才有利于生成有效的動畫。

人臉面部特征通常以相同的次序排列，人臉形態(tài)變化了，但基本結(jié)構(gòu)不會變化。因此，自然的想法是建立人臉的一般網(wǎng)格模型，在這個(gè)模型中帶有必需的結(jié)構(gòu)和動畫信息。然后將該模型適配到特定人臉的幾何網(wǎng)格，創(chuàng)建出個(gè)性化的動畫模型。當(dāng)一般模型網(wǎng)格比采樣數(shù)據(jù)網(wǎng)格的多邊形少時(shí)，處理過程也包括了對采樣數(shù)據(jù)的簡化。

1．插值方法

假設(shè)大多數(shù)人臉的形狀都可以由一個(gè)拓?fù)湓�型變化得來，那么，通過調(diào)整一個(gè)一般模型的構(gòu)造參數(shù)可以建立不同的面部模型。但是，這種參數(shù)模型僅僅局限于那些構(gòu)造參數(shù)已知的情況，并且對特定人臉參數(shù)的調(diào)整非常困難。在離散數(shù)據(jù)的多變量插值問題方面，徑向基函數(shù)（radial basis function，rbf）插值方法是一個(gè)行之有效的工具，所以也適用于類似人臉這樣高維曲面的近似或平滑插值�，F(xiàn)有的許多方法使用了基于rbf的插值技術(shù)，將一般人臉網(wǎng)格變化到特定人臉的形狀。這種方法的優(yōu)點(diǎn)在于：（1）通過插值可以得到丟失的數(shù)據(jù)點(diǎn)，所以源網(wǎng)格和目標(biāo)網(wǎng)格不需要相同數(shù)目的結(jié)點(diǎn)；（2）如果選擇了合適的匹配點(diǎn)，數(shù)學(xué)上可以保證能夠?qū)⒃淳W(wǎng)格變形到目標(biāo)網(wǎng)格。

2．計(jì)算機(jī)視覺方法

根據(jù)計(jì)算機(jī)視覺原理，通過分析目標(biāo)物體兩幅圖像或多幅圖像序列，恢復(fù)其三維形狀，這就是所謂的從運(yùn)動恢復(fù)形狀（shape * motion）或從運(yùn)動恢復(fù)結(jié)構(gòu)（structure * motion）技術(shù)。在這方面值得一提的是pighin等人提出的高度真實(shí)感人臉建模技術(shù)。首先，在多幅圖像中手工定義一些相互對應(yīng)的特征點(diǎn)，并使用計(jì)算機(jī)視覺技術(shù)恢復(fù)攝像機(jī)參數(shù)（位置、方向、焦距等）和特征點(diǎn)的坐標(biāo);然后，由這些特征點(diǎn)的坐標(biāo)值計(jì)算出徑向基插值函數(shù)的系數(shù)，并對一般網(wǎng)格進(jìn)行變形；最后，通過使用更多對應(yīng)特征點(diǎn)，將一般網(wǎng)格微調(diào)到與真實(shí)人臉非常接近的形狀。pighin等人用了13個(gè)特征點(diǎn)完成初始的變形，而在最后的調(diào)整中附加了99個(gè)特征點(diǎn)，故需要很多人機(jī)交互工作。

3．深度圖像分析方法

將三維深度數(shù)據(jù)通過柱面投影映射到二維平面，可以降低處理和分析難度。lee、terzopoulos和 waters等人給出了一個(gè)基于激光掃描的深度和反射數(shù)據(jù)自動構(gòu)造個(gè)性化人頭模型的方法。他們在一般網(wǎng)格適配之前使用了深度圖像分析的方法，自動標(biāo)記人臉特征點(diǎn)，包括眼睛輪廓、鼻子輪廓、嘴輪廓和下巴輪廓。

人臉變形技術(shù)

通過三維重構(gòu)的特定人臉模型網(wǎng)格仍然有較多的頂點(diǎn)和多邊形，只有建立了合理的變形機(jī)制才能對它們進(jìn)行有效的控制。

1．彈性網(wǎng)格肌肉

一些研究者認(rèn)為，力通過肌肉弧的傳遞作用于彈性網(wǎng)格，從而產(chǎn)生臉部表情，所以他們將人臉模型表示成定義在特定人臉區(qū)域上的各功能塊的集合，由數(shù)十個(gè)局部肌肉塊組成，并通過彈性網(wǎng)格相互連接，通過施加肌肉力對彈性網(wǎng)格進(jìn)行變形，從而創(chuàng)建各種動作單元。

2．物理肌肉模型

waters在人臉肌肉模型領(lǐng)域做出了開創(chuàng)性的工作，他提出了一個(gè)極其成功的人臉肌肉模型。在該方法中，人臉用多邊形網(wǎng)格表示，并用十幾條肌肉向量來控制其變形，用基于線性肌和輪匝肌模型產(chǎn)生了生氣、害怕、驚奇、高興等情緒動畫，如圖1所示。

然而，按照生理學(xué)正確設(shè)置肌肉向量的位置是一項(xiàng)令人生畏的工作，至今還沒有一個(gè)自動的方法將肌肉向量放置到一般或特定的人臉網(wǎng)格中去。但該模型具有緊湊的表示形式并且獨(dú)立于人臉的網(wǎng)格結(jié)構(gòu)，所以得到了廣泛的應(yīng)用。

3．模擬肌肉（偽肌肉）

按照人類生理學(xué)的描述，基于物理的肌肉造型能產(chǎn)生真實(shí)感的結(jié)果，但只有通過精確的造型和參數(shù)調(diào)節(jié)才能模擬特定的人臉結(jié)構(gòu)。模擬肌肉（偽肌肉）提供了一個(gè)可供選擇的方法。

4．體變形(volume morphing)

上述的肌肉模型涉及到對人臉肌肉物理特性的模擬，計(jì)算復(fù)雜且耗時(shí)，大多不能用于實(shí)時(shí)應(yīng)用。人臉面部運(yùn)動時(shí)，多數(shù)運(yùn)動都集中在某些區(qū)域，所以在基于表演驅(qū)動的面部動畫系統(tǒng)中可以使用局部體變形方法。

動畫控制的表演驅(qū)動技術(shù)

通過手工進(jìn)行人臉模型的精細(xì)調(diào)整以獲得生動的表情動畫固然可行，但這是一項(xiàng)極其乏味的工作，必須是熟練的動畫師才能完成�？梢栽O(shè)想，如果三維角色面部的一些特征點(diǎn)運(yùn)動與真實(shí)運(yùn)動相吻合，那么，動畫效果必然令人信服。這就驅(qū)使人們研究基于表演驅(qū)動的面部動畫控制方法，其根本思想就是使用各種手段跟蹤表演者面部特征點(diǎn)的二維或三維運(yùn)動軌跡，并使其控制三維面部網(wǎng)格的變形，最終生成動畫序列。如何定義面部特征點(diǎn)和如何跟蹤特征點(diǎn)是這種技術(shù)的關(guān)鍵問題。



1．facs和mpeg-4系統(tǒng)

美國心理學(xué)家 paul ekman和friesen較早地對臉部肌肉群的運(yùn)動及其對表情的控制作用做了深入研究，開發(fā)了面部動作編碼系統(tǒng)(facial action coding system，facs)來描述面部表情。他們根據(jù)人臉的解剖學(xué)特點(diǎn)，將其劃分成若干既相互獨(dú)立又相互聯(lián)系的運(yùn)動單元(au)，并分析了這些運(yùn)動單元的運(yùn)動特征及其所控制的主要區(qū)域以及與之相關(guān)的表情，并給出了大量的照片說明。許多人臉動畫系統(tǒng)都基于facs。 mpeg-4是一種基于內(nèi)容的通用的多媒體編碼標(biāo)準(zhǔn)，它將多媒體數(shù)據(jù)分為各種視頻和音頻對象，針對不同的對象使用不同的編碼方法。"人臉對象"是mpeg-4中定義的一類較特殊的對象，因?yàn)閳D像中最典型的物體就是人本身，而最受觀眾關(guān)注的部分就是人臉。人臉對象主要包括兩類參數(shù)：臉部定義參數(shù)(face definition parameters，fdp)和臉部動畫參數(shù)(face animation parameter,fap)。fdp參數(shù)包括特征點(diǎn)坐標(biāo)、紋理坐標(biāo)、網(wǎng)格的標(biāo)度、面部紋理、動畫定義表等臉部的特征參數(shù)。與靜態(tài)的fdp參數(shù)相對應(yīng)的是動態(tài)的fap參數(shù),它分為10組，分別描述人面部的68種基本運(yùn)動和7種基本表情。fap是一個(gè)完整的臉部基本運(yùn)動的集合，它是基于對人臉細(xì)微運(yùn)動的研究，與臉部肌肉運(yùn)動密切相關(guān)，所以用 fap可以描述自然的臉部表情，當(dāng)然也可以創(chuàng)作出夸張的非自然所能達(dá)到的表情。

2．表演驅(qū)動方法

從連續(xù)視頻圖像序列中提取的信息可作為動畫系統(tǒng)的控制輸入。這些信息對應(yīng)于人臉模型中向量肌肉的收縮或者facs動作單元。面部變形或者肌肉參數(shù)的自動提取非常困難，這是當(dāng)前計(jì)算機(jī)視覺研究的重要部分。

通過跟蹤表演者面部的各個(gè)特征點(diǎn)并將圖像紋理映射到多邊形模型上，僅僅需要很少的計(jì)算消耗且不需分析就可以得到實(shí)時(shí)的面部動畫。表演驅(qū)動的方法可以創(chuàng)建生動的臉部動畫，其中動畫受控于被跟蹤的人。實(shí)時(shí)的視頻處理允許交互動畫，演員可以隨時(shí)觀察他們的情緒和表情。通常將被跟蹤的二維或三維特征運(yùn)動進(jìn)行濾波或變形，從而產(chǎn)生驅(qū)動特定動畫系統(tǒng)的運(yùn)動數(shù)據(jù)。運(yùn)動數(shù)據(jù)能被直接用于產(chǎn)生臉部動畫，或經(jīng)過分析轉(zhuǎn)化為面部動作編碼系統(tǒng)（facs）的動作單元（au）而產(chǎn)生臉部表情。

精確跟蹤特征點(diǎn)或邊界對于獲得一致而生動的動畫至關(guān)重要。最初，人們使用在人臉或嘴唇上做一些彩色標(biāo)識的方法，輔助跟蹤人臉的表情或從錄像序列識別說話人。如果將反射球粘貼在人臉上，那么光學(xué)運(yùn)動跟蹤系統(tǒng)自然也可以跟蹤人臉的運(yùn)動，如圖2所示。這在三維動畫制作的商業(yè)軟件中得到了廣泛的應(yīng)用。

然而，在人臉上做標(biāo)記很冒昧，有時(shí)也很不切實(shí)際。而且，對標(biāo)記的依賴性限制了從標(biāo)記位置獲取幾何信息的范圍。研究者試圖不通過做標(biāo)記的方法直接從視頻序列恢復(fù)人臉運(yùn)動，由此產(chǎn)生了時(shí)空相關(guān)度量規(guī)范化和光流場跟蹤的方法。它們能自然地跟蹤特征，避免了在人臉上做標(biāo)識的尷尬。

人臉上的器官都有比較顯著的形狀和色彩特征。如眉毛是黑色、嘴唇是紅色，這些都可以作為特征分析和跟蹤的依據(jù)。如果一個(gè)算法能夠準(zhǔn)確區(qū)分和跟蹤這些特征點(diǎn)，那么面部運(yùn)動就能夠被動畫系統(tǒng)理解，并能用于動畫變形。

基于自動控制理論，mit媒體實(shí)驗(yàn)室的essa等人使用光流測量技術(shù)從圖像中提取面部動作參數(shù)。他們比較了使用光流場進(jìn)行表演驅(qū)動動畫的方法和基于facs系統(tǒng)的方法的優(yōu)缺點(diǎn)。facs 的缺點(diǎn)是：au是純粹的局部模式，而實(shí)際的臉部運(yùn)動幾乎都不是局部發(fā)生的；facs 提供了空間運(yùn)動的描述而沒有時(shí)間分量的描述。

我們可以將人臉建模和表演動畫合成過程分為如下三個(gè)步驟:第一步，通過三維掃描技術(shù)或者計(jì)算機(jī)視覺技術(shù)獲取特定人臉的幾何模型，并適配到用于動畫的一般人臉模型；第二步，基于各種肌肉模型和變形方法操作重建的人臉模型產(chǎn)生人臉模型運(yùn)動；第三步，直接跟蹤視頻序列中真實(shí)人臉產(chǎn)生各種控制參數(shù)。

人臉建模和動畫技術(shù)是一個(gè)跨學(xué)科、富有挑戰(zhàn)性的前沿課題。雖然國內(nèi)外研究人員在某些方面獲得了一定的成績并出現(xiàn)了一些實(shí)用化的系統(tǒng)，但是離用戶的要求仍有較大距離。