混合現(xiàn)實(shí)(MR)視頻就是把人連同所處的VR環(huán)境一起拍攝進(jìn)去，能夠展現(xiàn)出人們?cè)赩R世界里的一舉一動(dòng)。

但是目前的方法都有一個(gè)障礙，那就是在拍攝過(guò)程中，由于人一般都是戴著一個(gè)較大的VR頭盔的，因此人物的臉部基本都會(huì)被遮擋。人們的表情只能靠“腦補(bǔ)”來(lái)想象。

然而谷歌展示了一些新的研究成果，把這一技術(shù)帶到了新的水準(zhǔn)。谷歌結(jié)合了一系列的技術(shù)，包括HTC Vive和SMI眼部追蹤，他們重新再現(xiàn)了被VR頭盔遮擋住的人的臉部。

這一研究是谷歌研究團(tuán)隊(duì)、Daydream Labs和YouTube團(tuán)隊(duì)通力合作的成果。根據(jù)官方博客表示，這一研究的原理為：

技術(shù)核心是使用用戶的臉部3D建模作為被遮擋面部的代替。這一代替物用來(lái)在MR(混合現(xiàn)實(shí))視頻中來(lái)同步人臉，從而打造出被頭盔遮住的面部表情。

首先，我們會(huì)使用我們稱之為“注視點(diǎn)動(dòng)態(tài)外觀(gaze-dependent dynamic appearance)”來(lái)捕捉用戶的個(gè)性化3D臉模。首先是校準(zhǔn)步驟，需要用戶站在一個(gè)顏色+深度攝像機(jī)，還有一臺(tái)顯示器前面，然后用眼鏡在顯示器上去追看一個(gè)標(biāo)記。

我們用這種一次性的校準(zhǔn)(時(shí)間花費(fèi)不到一分鐘)來(lái)獲得用戶的3D臉模，然后獲得不同的凝視方向、眨眼所映射的圖像(或材質(zhì))的數(shù)據(jù)庫(kù)。這一“注視數(shù)據(jù)庫(kù)”(也就是通過(guò)眼睛注視來(lái)對(duì)應(yīng)不同的臉模材質(zhì))讓我們能夠在同步中動(dòng)態(tài)更換臉的形象，并且生成想要的凝視視線，讓同步的臉部表情看上去自然、生動(dòng)。

在這一項(xiàng)目背后包括科學(xué)家Vivek Kwatra和軟件工程師Christian Frueh、Avneesh Sud。這一方法有很大的希望能夠“應(yīng)用于類似VR視頻會(huì)議、多人視頻游戲，與親朋一起探索等，提高在VR里的溝通和社交性”。