微軟亞洲研究院SIGGRAPH Asia 2014精彩入選論文賞析

Dynamic Hair Camptureusing Spacetime Optimization

動(dòng)作大片中常常會(huì)出現(xiàn)這樣一個(gè)場景，長發(fā)飄飄的女神從高樓或飛機(jī)上墜落，這時(shí)候超級(jí)英雄就會(huì)突然出現(xiàn)在半空中英雄救美。如此刺激而唯美的畫面難道真要好萊塢的大牌們親自冒險(xiǎn)拍攝嗎？墜落過程中女神那一頭飄逸的秀發(fā)又是怎么形成的呢？第一篇論文所研究的項(xiàng)目正是與此相關(guān)的。

該技術(shù)主要內(nèi)容可簡單概括成頭發(fā)動(dòng)態(tài)運(yùn)動(dòng)的捕捉和三維重建。根據(jù)項(xiàng)目負(fù)責(zé)人之一、微軟亞洲研究院研究員王律迪的介紹，具體來說，即通過從不同角度拍攝頭發(fā)在真實(shí)場景中的運(yùn)動(dòng)視頻，在計(jì)算機(jī)中重建發(fā)絲級(jí)別的動(dòng)態(tài)三維頭發(fā)模型。

對于運(yùn)動(dòng)中的頭發(fā)的三維模型重建是極其具有挑戰(zhàn)性的。人的頭發(fā)由超過10萬根纖細(xì)的發(fā)絲組成，這些發(fā)絲相互遮擋，大部分從外部根本不可見。而在運(yùn)動(dòng)中由碰撞、摩擦等引起的發(fā)絲間的相互作用更是錯(cuò)綜復(fù)雜。

之前一些類似的研究簡單地將靜態(tài)頭發(fā)重建的方法推廣到動(dòng)態(tài)，因?yàn)闆]有充分利用時(shí)間上的信息，重建的結(jié)果一直都不盡如人意。整個(gè)項(xiàng)目的研究過程長達(dá)一年多，中途嘗試過不少方法，卻沒有任何突破的結(jié)果，因?yàn)樗�拍頭發(fā)運(yùn)動(dòng)視頻的幀與幀之間，很難對每根頭發(fā)進(jìn)行準(zhǔn)確地跟蹤。但是最終，王律迪和他的同事們想出了解決辦法。他們將頭發(fā)運(yùn)動(dòng)視頻看作由每幀畫面重疊而成的立方體，發(fā)現(xiàn)在這個(gè)立方體的水平（或豎直）切面上，發(fā)絲的運(yùn)動(dòng)會(huì)留下清晰的軌跡。這些軌跡可以通過特殊的圖像算法自動(dòng)抽取，結(jié)合不同拍攝角度的視頻，使得對頭發(fā)運(yùn)動(dòng)的捕捉更準(zhǔn)確，更穩(wěn)定。

對于這項(xiàng)技術(shù)的應(yīng)用場景，王律迪表示，頭發(fā)的運(yùn)動(dòng)捕捉和動(dòng)態(tài)三維模型重建將會(huì)是未來高質(zhì)量全人體（full-body）動(dòng)態(tài)重建不可缺少的部分。在電影制作中，根據(jù)演員重建的高質(zhì)量模型使得后期可以隨意改變角色所處的場景，光照，甚至拍攝角度。此外，我們方法生成的動(dòng)態(tài)三位頭發(fā)模型不僅外觀和運(yùn)動(dòng)與原始視頻相符，每根發(fā)絲還具有相當(dāng)程度的真實(shí)物理特性，如發(fā)根固定在頭皮上，長度保持不變等。這使得后期有可能對頭發(fā)的樣式和運(yùn)動(dòng)做進(jìn)一步的編輯（將直發(fā)變?yōu)榫戆l(fā)，使運(yùn)動(dòng)更平滑等等）。最后，這些根據(jù)真實(shí)頭發(fā)重建的數(shù)據(jù)可以幫助研究人員進(jìn)一步學(xué)習(xí)和了解頭發(fā)的運(yùn)動(dòng)，甚至用于開發(fā)數(shù)據(jù)驅(qū)動(dòng)的頭發(fā)運(yùn)動(dòng)模擬算法。

Fast Burst Images Denoising

現(xiàn)如今幾乎所有的最新型手機(jī)都增加了連拍照相功能，讓用戶可以捕捉每一個(gè)精彩瞬間。這項(xiàng)功能同時(shí)也能為低光照下拍攝高質(zhì)量照片提供可能。由于光線較暗的時(shí)候，照片往往不是出現(xiàn)噪點(diǎn)，就是出現(xiàn)模糊，不易拍攝出高質(zhì)量的照片。

這篇論文主要研究的問題是如何利用手機(jī)或相機(jī)的連拍方式，去除照片中出現(xiàn)的噪點(diǎn)和模糊，以對照片質(zhì)量進(jìn)行優(yōu)化。項(xiàng)目的負(fù)責(zé)人之一，微軟亞洲研究院研究員袁路介紹了相關(guān)的技術(shù)原理，項(xiàng)目研究過程以及研究亮點(diǎn)。

原來的大部分去噪點(diǎn)研究中，所利用的都是一張圖片，那么考慮空間上的相似關(guān)系，可利用的所有信息也只能來自于那一張?zhí)囟ǖ膱D片。當(dāng)信噪比相對較低的時(shí)候，系統(tǒng)根本無法區(qū)分噪聲和原有的圖像信號(hào)。但是如今運(yùn)用多張圖片就可以很容易解決這個(gè)問題。由于連拍的圖片在時(shí)間域上有很強(qiáng)的相關(guān)性，即使在信號(hào)弱的時(shí)候，讓圖片之間彼此空間對齊后，在時(shí)間軸上相加，噪點(diǎn)的分布便可以變成零均值，從而達(dá)到去除噪聲的目的。然而，之前已有研究對“多張圖多張出” 和“多張圖一張出”都有涉足，但是一直無法找出一種方法，能快速實(shí)現(xiàn)圖片去噪點(diǎn)同時(shí)保證高質(zhì)量輸出的優(yōu)化目標(biāo)。另外，在連拍過程中，往往會(huì)因?yàn)槭值亩秳?dòng)或者是拍攝目標(biāo)的運(yùn)動(dòng)而導(dǎo)致每張照片的內(nèi)容并不是對齊的，這也給去噪的目標(biāo)帶來相當(dāng)大的難度。

之前的運(yùn)動(dòng)估計(jì)通常依靠光流（逐點(diǎn)運(yùn)功估計(jì)）或者塊匹配（常用于視頻壓縮的運(yùn)動(dòng)估計(jì)）的方式。然而它們的計(jì)算非常耗時(shí)，并且結(jié)果容易受到噪聲的影響。袁路所在的研究組對相機(jī)運(yùn)動(dòng)和被拍攝物體運(yùn)動(dòng)進(jìn)行了拆分計(jì)算。首先，他們將相機(jī)的運(yùn)動(dòng)參數(shù)化，建立出一個(gè)參數(shù)模型，從而能非�？斓墓烙�(jì)出具體運(yùn)動(dòng)的相關(guān)參數(shù)。而針對場景中的物體運(yùn)動(dòng)，他們則對每一幀的具體運(yùn)動(dòng)進(jìn)行了分析，針對運(yùn)動(dòng)的快慢，算法都能相應(yīng)地估計(jì)出運(yùn)動(dòng)物體的精確輪廓。在每個(gè)像素時(shí)間軸上相加平均的時(shí)候，那些位于運(yùn)動(dòng)物體輪廓區(qū)域的像素都會(huì)被排除掉。通過這種簡單的方式，他們能有效的解決圖片每個(gè)像素對齊的問題。除此之外，他們進(jìn)一步考慮空間上信息相關(guān)性，建立了一個(gè)多尺度“金字塔”結(jié)構(gòu)，根據(jù)圖像結(jié)構(gòu)（例如，平滑區(qū)域和邊緣）的分析，自適應(yīng)的選擇相應(yīng)的平滑策略，從而達(dá)到進(jìn)一步去除殘留噪聲的目的。最終，他們的算法將時(shí)間軸和空間軸結(jié)合在一起，在校正了每一幀的運(yùn)動(dòng)之后，得到的便是一幅清晰的圖像。

該研究相對于之前許多類似研究來說，在時(shí)間和質(zhì)量上都有了很大的提高。與之前的研究相比，袁路和其他的同事研究的項(xiàng)目在保證畫面高質(zhì)量的同時(shí)，在速度上比之前提高了100至1000倍，即在電腦上處理10張5MB的圖片少于1秒種。

另外，該項(xiàng)目的技術(shù)已經(jīng)在Windows Phone的Blink應(yīng)用上得到了運(yùn)用。

Appearance-from-Motion: Recovering Spatially Varying Surface Reflectance under Unknown Lighting

如果在游戲中駕駛著法拉利最高配置賽車在賽道上飛馳，是不是很酷炫呢？目前大部分游戲中的道具都是藝術(shù)家繪制出來的，雖然有很高的仿真度，但是并非真實(shí)的畫面。若能將游戲中駕駛的賽車變成與現(xiàn)實(shí)中的原型一模一樣，那么游戲體驗(yàn)必定會(huì)增加不算少。而在這篇論文的項(xiàng)目所研究的正是這個(gè)問題。

該項(xiàng)目的主要內(nèi)容是在已知物體幾何形狀的情況下，通過對物體在自然光照下運(yùn)動(dòng)的采集，讓計(jì)算機(jī)對識(shí)別出其材質(zhì)屬性參數(shù)，進(jìn)而在任意光照下重建出該物體。該項(xiàng)目負(fù)責(zé)人之一，微軟亞洲研究院研究員董悅對他的這個(gè)項(xiàng)目進(jìn)行了進(jìn)一步的解讀。

重建的過程主要可以分成采集和渲染兩部分。采集主要指對實(shí)物在單一光照下（實(shí)驗(yàn)室燈光或單一固定自然光照）運(yùn)動(dòng)中對光反射的采集，一般會(huì)用相機(jī)進(jìn)行照片和視頻的拍攝。渲染則指代采集過后在計(jì)算機(jī)上進(jìn)行模型繪制的過程。由于材質(zhì)不同，物體對光會(huì)呈現(xiàn)不一樣的反射表現(xiàn)。比如塑料、金屬和鏡面，因?yàn)椴馁|(zhì)導(dǎo)致光滑程度不一樣，在同樣情況的光照下，塑料對光的反射是最模糊的，而鏡面由于表面十分光滑，對光照的反射是最強(qiáng)烈的，金屬則居中。根據(jù)物體上的每一點(diǎn)對光照的反射情況，可以計(jì)算出其材質(zhì)屬性（得出該點(diǎn)的材質(zhì)屬性公式）。在得到物體材質(zhì)屬性之后，我們就可以得到在任意光源之下的反射效果。

和過去的研究相比，這個(gè)項(xiàng)目體現(xiàn)出了明顯的先進(jìn)性。過去，如果制作出一個(gè)物體在不同光照下的模型，研究者們可能需要在不同光照對物體運(yùn)動(dòng)進(jìn)行捕捉，整個(gè)采集過程十分繁瑣。而如今董悅的研究實(shí)現(xiàn)了在未知的自然光照條件下一次采集便可完成對多種光照下不同材質(zhì)光反射的虛擬還原。

董悅在談及該技術(shù)未來的運(yùn)用方向時(shí)提出，它將主要被運(yùn)用在電影和游戲中，將場景中的物體變得更為真實(shí)自然，例如游戲中玩家駕駛的汽車。這樣可以解決一些如今主要靠藝術(shù)家去畫而存在的局限，也可以讓游戲和電影更讓人有身臨其境的感覺。

入選SIGGRAPH Asia的其他四篇論文

VFXinfo獨(dú)家整理的一些相關(guān)資料