Image Metrics打造GTA逼真面部表情動(dòng)畫的揭秘

image metrics打造gta逼真面部表情動(dòng)畫

描述一張圖片可能需要上千字，然而一個(gè)表情就足夠說(shuō)明很多事情。

image metrics開發(fā)了一個(gè)高級(jí)的表情捕獲及動(dòng)畫生成系統(tǒng)，可以非常精確地創(chuàng)建表情動(dòng)畫。而且其速度是關(guān)鍵幀動(dòng)畫（keyframing）的七倍。并且只需 要圖像文件，面部組件(facial rig)和3d模型就可以開始工作。rockstar games是最近開始使用這個(gè)新技術(shù)的游戲公司之一，它們?cè)谟螒騡ta4《grand theft auto iv》中使用了這項(xiàng)技術(shù)。

眼睛，甚至是舌頭的細(xì)微動(dòng)作都可以被捕捉為動(dòng)畫。不需要在演員身上添加任何標(biāo)記，也不需要?jiǎng)?chuàng)建時(shí)間，就可以完成捕捉，動(dòng)作的捕捉過(guò)程可以在任何客戶選擇的 場(chǎng)所進(jìn)行，而且沒(méi)有任何動(dòng)作的限制。表情的捕捉可以與肢體動(dòng)作的捕捉過(guò)程或者是聲音的錄制過(guò)程同時(shí)進(jìn)行。無(wú)論是在maya, softimage|xsi, houdini, 3ds max, lightwave 3d, 還是motion builder這些軟件中使用，表情動(dòng)畫最終都會(huì)得到同樣的文件格式，以供在制作流程中使用。使用該技術(shù)的客戶名單包括ea, digital domain, rhythm and hues, rockstar, konami, capcom, epic, sony 以及其他一些公司, image metrics總是跟著名游戲公司和經(jīng)典游戲聯(lián)系在一起。

image metrics 負(fù)責(zé)商務(wù)開發(fā)的副總nick perrett說(shuō)，當(dāng)image metrics技術(shù)第一次運(yùn)用的時(shí)候他就確信，這種技術(shù)正是游戲開發(fā)這個(gè)行業(yè)所需要的。nick perrett說(shuō)：“image metrics技術(shù)的首次應(yīng)用要追述到2004年rockstar games在《俠盜獵車手:圣安地列斯》（grand theft auto san andreas）的開發(fā)中使用它，rockstar公司在創(chuàng)新性地使用革新技術(shù)方面是有傳統(tǒng)的，在《圣安地列斯》（san andreas）的開發(fā)中他們非常大膽地跨出了革命性的一步，如此廣泛地使用表情動(dòng)畫。在ps2主機(jī)的時(shí)代，這部作品是歷史上最賣座的游戲之一，并且擁有 非常豐富的內(nèi)容。自從那之后，我們看到rockstar開始廣泛采用image metrics表情動(dòng)畫制作流程，而其他一些頂級(jí)游戲開發(fā)專家也在不停地尋找使他們的游戲作品中角色更真實(shí)的有效方法�！�

image metrics繼續(xù)為gta（grand theft auto）系列的最新款游戲提供了表情動(dòng)畫的制作。現(xiàn)如今許多游戲中的畫面還有很多令人厭煩的鋸齒，rockstar已經(jīng)在image metrics技術(shù)的幫助下把表情動(dòng)畫的水平推向了一個(gè)更高的層次，在他們的第十一個(gè)續(xù)作中，這成為這部重磅推出的新作特有的優(yōu)勢(shì)。

如何工作

有 兩種方法可以把影像輸入到工作流程中去，制作主管可以選用他們需要的比較有效的影像捕捉方法。在全身捕捉（ mocap ）的情況下，一個(gè)頭戴式的設(shè)備（ headcam ）被用以表情的捕捉，該設(shè)備可以讓演員自由活動(dòng)，這可以保證演員的頭部無(wú)論如何活動(dòng)，都可以不捕捉到圖像。第二種選擇是在 vo 錄音棚（ vo booth ）里用靜態(tài)攝影機(jī)進(jìn)行拍攝，在那里影像以跟錄音同步的速度被拍攝下來(lái)作為進(jìn)一步處理所需要的數(shù)據(jù)。

表演驅(qū)動(dòng)

在加州(ca)圣莫妮卡（santa monica）image metrics的研究室，記錄面部表情的工作按照一種叫做“表演分析”的步驟來(lái)進(jìn)行。眼睛，嘴唇的輪廓，瞳孔的大小，眉毛的位置都被精確地跟蹤記錄下來(lái)。 連皮膚的皺紋和舌頭的位置在影像上都可以辨認(rèn)出來(lái)，這提供了許多額外的材質(zhì)信息和細(xì)節(jié)，這些在傳統(tǒng)動(dòng)作捕捉技術(shù)中通常是會(huì)丟失的。完成以后表演分析所得到 的數(shù)據(jù)就被加載到面部組件上，在動(dòng)畫制作階段就可以看到效果了。

面 部組件要么是客戶根據(jù)需要提供的，包括混合形狀（blend shapes），關(guān)節(jié)，族（clusters）等信息。要么由image metrics根據(jù)混合形狀（blend shapes）與關(guān)節(jié)的相關(guān)信息相結(jié)合來(lái)設(shè)計(jì)一個(gè)最優(yōu)的面部組件。游戲制作的工作室會(huì)選一個(gè)比較有用的。image metrics的動(dòng)畫師會(huì)把表演分析的數(shù)據(jù)加載到3d模型上，分析演員的動(dòng)作并選擇末端姿勢(shì)，然后建立一個(gè)校準(zhǔn)的對(duì)照庫(kù)。末端姿勢(shì)來(lái)自實(shí)際的拍攝，由于都 是一張張圖片實(shí)際拍攝出來(lái)的，因此它是很確切的。

一旦校準(zhǔn)的對(duì)照庫(kù)建立起來(lái)了，軟件會(huì)自動(dòng)計(jì)算不同動(dòng)畫片段的中間狀態(tài)，像在maya這樣的軟件中會(huì)插值2幀或者3幀畫面，因此每100幀動(dòng)畫其實(shí)只需要拍攝 其中的一小部分。這比傳統(tǒng)的技術(shù)要節(jié)約很多時(shí)間。雖然制作的步驟跟關(guān)鍵幀動(dòng)畫（keyframing）技術(shù)比較類似，但是不同之處是這種方法在最終結(jié)果與 動(dòng)畫的起始數(shù)據(jù)之間更為接近，加上動(dòng)畫師會(huì)按照3d動(dòng)畫的要求加以微調(diào)，最終的結(jié)果讓人難以置信的真實(shí)。然后動(dòng)畫師還會(huì)再?gòu)?fù)查拍攝的原始資料，根據(jù)需要再 加以調(diào)整。

一旦通過(guò)審查，帶有豐富面部表情動(dòng)畫的面部組件就回到客戶手中，之后整合的步驟就容易多了。盡管一般來(lái)說(shuō)表情動(dòng)作與肢體動(dòng)作的捕捉是同步進(jìn)行的，因?yàn)樗鼈?之間有一定的整體性，然而有時(shí)，先進(jìn)行肢體動(dòng)作的捕捉并不會(huì)妨礙面部組件的制作，這可以根據(jù)實(shí)際情況來(lái)加以調(diào)整。當(dāng)肢體動(dòng)作和表情動(dòng)作分別捕捉時(shí) 候，image metrics將會(huì)把表情動(dòng)畫與肢體動(dòng)作動(dòng)畫加以匹配，得到一個(gè)略加調(diào)整的文件。例如可能視線要根據(jù)人物的心理預(yù)期和呼吸進(jìn)行略微的調(diào)整。

臉部捕獲

大多數(shù)人都聽說(shuō)過(guò)表情跟蹤的方法，需要把130個(gè)標(biāo)記仔細(xì)地定位到演員的臉部，就算是這樣依然有一些區(qū)域是會(huì)錯(cuò)過(guò)而無(wú)法被標(biāo)記的。例如眼角，瞳孔和舌頭。這 種制作流程需要花幾個(gè)小時(shí)來(lái)準(zhǔn)備，幾天時(shí)間來(lái)完成捕捉，需要一個(gè)訓(xùn)練有素的全身捕捉（mocapt）團(tuán)隊(duì)，而且所獲得的結(jié)果還需要清理和完成關(guān)鍵幀的調(diào) 整，其最終結(jié)果又常常會(huì)令人失望。

嚴(yán)格的清理過(guò)程中往往會(huì)對(duì)整個(gè)動(dòng)畫的50%進(jìn)行修正，而只有到了最終完成之后才知道輸出的是不是想要的結(jié)果。假如有些不如意的地方，動(dòng)畫小組還需要根據(jù)需求來(lái)進(jìn)行剪輯 。

表演捕獲

相比之下，image metrics 使用簡(jiǎn)單的攝影機(jī)來(lái)拍攝，可以是在 vo 錄音棚中演員的面前拍攝，也可以在動(dòng)作捕捉的過(guò)程中通過(guò)固定在演員頭部的攝影機(jī)來(lái)拍攝。這種制作方法只需要幾分鐘的時(shí)間準(zhǔn)備，并且可以提供精確到像素的分 辨率。這種方法可以賦予角色靈魂和生命�？梢宰屩谱髦鞴艿玫脚c捕捉的那一刻他親眼看到的一樣真實(shí)的效果。他們因此可以選擇那些吸引他們的，他們所希望得到 的栩栩如生的角色表情。此外，影像還可以提供材質(zhì)信息，這些在動(dòng)作捕捉的方法中是無(wú)法得到的。表演捕捉的方法不僅可以跟蹤動(dòng)作，還可以顯示皮膚的質(zhì)地是怎 樣隨著運(yùn)動(dòng)而發(fā)生相應(yīng)改變的。

表演捕捉可以用于各種角色，可以是人，也可以是會(huì)說(shuō)話的馬，只要找到演員的末端動(dòng)作，把姿態(tài)匹配到相應(yīng)的3d模型上就可以了。最終結(jié)果的細(xì)節(jié)比關(guān)鍵幀動(dòng)畫要豐富，制作時(shí)間卻比關(guān)鍵幀動(dòng)畫要快，成本也更低。

演員要選那些特質(zhì)和體格特征與角色符合的。然而技術(shù)可以讓任何角色變成任何年齡，擁有任何所被捕捉的演員沒(méi)有的能力。就好像是超級(jí)化妝師，讓演員改變成各種體貌特征。當(dāng)動(dòng)畫師運(yùn)用這種技術(shù)的這幾年，技術(shù)將演員的能力放大了。

所有人都知道cg就是要追求更近似于真實(shí)世界，然而永遠(yuǎn)也不可能完全是真實(shí)的。mocap 盡可能捕捉每一個(gè)細(xì)節(jié)并轉(zhuǎn)化為數(shù)據(jù)，但是無(wú)論如何轉(zhuǎn)換數(shù)據(jù)，總是會(huì)產(chǎn)生一些丟失，不可能完全真實(shí)可信。動(dòng)畫師應(yīng)該做的事就是通過(guò)把他們獲得的信息都形象地 表達(dá)出來(lái)，盡可能把表演的所有內(nèi)容都表現(xiàn)出來(lái)。然而也有人說(shuō)好的動(dòng)畫師可以給角色賦予生命，讓角色看起來(lái)真實(shí)可信，然而卻不需要做到精確。有了 image metrics 技術(shù)，動(dòng)畫師的表現(xiàn)可以做到兩全齊美。

電視游戲中常常有軍隊(duì)這樣的大量相似角色，在這種情況下如果給每一個(gè)角色單獨(dú)制作面部組件就會(huì)很費(fèi)時(shí)費(fèi)力。 image metrics 擁有組件轉(zhuǎn)換（ rig transfer ）技術(shù)。運(yùn)用這種技術(shù)可以從一個(gè)主要面部組件轉(zhuǎn)換出一系列連貫的頭部圖像。更強(qiáng)大的是， image metrics 還設(shè)計(jì)了一個(gè)智能套件，可以為每一個(gè)角色提供不同的生理特征。有了這些強(qiáng)大功能，組件調(diào)試的工作周期從兩周縮短到了一到兩個(gè)工作日。相同的技術(shù)也可以用在 電影角色上，只不過(guò)需要為這些角色增加細(xì)節(jié)從而多花一點(diǎn)時(shí)間。