在去年年底對(duì)外透露了這項(xiàng)技術(shù)之后，我們終于能夠親自體驗(yàn)HypeVR的Volumetric Video Capture(譯為：容積視頻拍攝)技術(shù)，借助該技術(shù)，體驗(yàn)者可以在VR視頻四處走動(dòng)。

 

 

 

今天，大多數(shù)的VR視頻作品都是以360°和3D的形式來拍攝的。拍攝質(zhì)量良好的360° 3D視頻在VR中觀看的效果很不錯(cuò)(比如你可以去看看Felix & Paul的作品)。但是，假設(shè)有天我們能夠?qū)崿F(xiàn)視網(wǎng)膜級(jí)別的分辨率以及完美的幾何學(xué)立體效果，就會(huì)出現(xiàn)一個(gè)360° 3D視頻無(wú)法逾越的障礙，那就是在視頻內(nèi)部的移動(dòng)。

 

今天所有的360°視頻(無(wú)論是不是3D)中，觀眾的視角都會(huì)鎖定在一個(gè)固定的有利的角度。不像那些實(shí)時(shí)渲染的VR游戲，觀眾不能在視頻中走動(dòng)--甚至是你想靠在椅子上，想讓視角隨之變動(dòng)也是不可能實(shí)現(xiàn)的。這樣一來不僅會(huì)沉浸感不足，而且也很不舒適。我們即使是靜坐的時(shí)候也會(huì)經(jīng)常有頭部的輕微的移動(dòng)，在這時(shí)如果虛擬的畫面跟不上我們的運(yùn)動(dòng)，觀看的感覺就會(huì)不那么真實(shí)，并且也影響舒適度。

 

 

這就是HypeVR開發(fā)容積視頻拍攝技術(shù)的原因之一。他們要做的，不僅僅是拍攝一些360度的照片然后將其縫合(就像傳統(tǒng)的360°相機(jī)那樣)，同時(shí)還要拍攝每一幀畫面中的容積數(shù)據(jù)，這樣一來，一旦作品被回放時(shí)，這些信息可以讓體驗(yàn)者在視頻內(nèi)走動(dòng)。

 

在CES 2017展會(huì)期間，我看到了HypeVR使用其怪獸級(jí)的拍攝設(shè)備錄制的原始視頻，以及一個(gè)全新的，更加生動(dòng)的體驗(yàn)，是HypeVR和英特爾聯(lián)手打造的。

 

在戴上Oculus Rift頭顯之后，我走進(jìn)了一個(gè)新的場(chǎng)景：一個(gè)時(shí)長(zhǎng)為30秒的越南山谷的美麗風(fēng)景片段。我就站在一個(gè)湖面中央小島的石頭上。除了這些石頭之外，整個(gè)小島被郁郁蔥蔥的野草覆蓋，在離我?guī)状a遠(yuǎn)的地方還有農(nóng)民和正在吃草的水牛。

 

在我的遠(yuǎn)處是一片雨林，以及一處風(fēng)景秀麗的瀑布。水流潺潺，水面蕩漾著波紋，沖刷著我所在的小島，以及長(zhǎng)在水邊的野草。

 

其中的畫面非常逼真且細(xì)膩--感覺比任何我曾用頭顯看過的360° 3D視頻的沉浸感都要強(qiáng)。大部分是由于我能夠在視頻內(nèi)部移動(dòng)。而且是以正常的平行視差，在一個(gè)房間規(guī)模的區(qū)域內(nèi)移動(dòng)。這讓我感覺好像真的就站在畫面中，站在越南的這個(gè)地方一樣，而不僅僅是目光處在這個(gè)環(huán)境中。這是我們?cè)谟^看VR視頻時(shí)都想要達(dá)到的效果，而且VR這種媒介如果想要變得真正有吸引力，就要朝著這個(gè)方向努力。

 

我曾經(jīng)看過讓人印象深刻的使用攝影測(cè)量法拍攝的VR體驗(yàn)內(nèi)容，但是攝影測(cè)量法需要拍攝者花費(fèi)數(shù)小時(shí)來構(gòu)建場(chǎng)景，從每一個(gè)能想象到的角度取景，并且把所有的照片組合成一個(gè)模型。結(jié)果可能會(huì)很驚艷，但是使用這種方法是無(wú)法拍攝會(huì)動(dòng)的物體的，因?yàn)槟銦o(wú)法足夠快速地拍攝包含可移動(dòng)物體的整個(gè)場(chǎng)景。

 

 

HypeVR采用了不同的辦法，他們的拍攝設(shè)備固定在一個(gè)場(chǎng)景中，以每秒60次的速度進(jìn)行拍攝，同時(shí)使用了高質(zhì)量的視頻捕捉設(shè)備以及深度映射激光雷達(dá)。之后，拍攝到視頻中的紋理數(shù)據(jù)會(huì)與景深數(shù)據(jù)進(jìn)行融合，來創(chuàng)作出每秒60幀的包含場(chǎng)景容積數(shù)據(jù)的視頻。這也就是說，你能夠看到水波的運(yùn)動(dòng)或者汽車開過，但仍然保持了容積數(shù)據(jù)，可以讓用戶在視頻的某些部分進(jìn)行移動(dòng)。

 

采用這種容積視頻拍攝技術(shù)所拍攝的視頻中的每一幀實(shí)際上都是實(shí)時(shí)渲染的場(chǎng)景3D模型，在播放時(shí)會(huì)一幀挨一幀地出現(xiàn)。這不僅允許體驗(yàn)者在其中走動(dòng)，就像VR游戲環(huán)境中那樣，同樣還是HypeVR的作品如此清晰和沉浸感強(qiáng)的原因--渲染到VR頭顯屏幕的每一幀畫面都是對(duì)可用數(shù)據(jù)的最佳取樣，并且都從每個(gè)角度對(duì)3D數(shù)據(jù)進(jìn)行幾何學(xué)修正(不只是針對(duì)那些3D效果最佳點(diǎn)，而是針對(duì)整個(gè)360° 3D視頻)。這種方法也意味著超出視野的內(nèi)容不會(huì)出現(xiàn)問題(這個(gè)問題我們?cè)?60°相機(jī)拍攝的視頻中經(jīng)常會(huì)遇到)。

 

 

 

HypeVR目前所擁有的技術(shù)正是我們想要看到的VR視頻應(yīng)有的效果，但是在制作和分發(fā)的過程中還有很多局限需要解決，只有解決了這些問題，這種技術(shù)才可以被用來拍攝觀眾們想要看到的影視級(jí)VR內(nèi)容。

 

 

你可以像一般的陰影那樣想象一下：當(dāng)某件物品從你身邊移動(dòng)的同時(shí)，有來自前方的照明源，在這個(gè)物體的后面就會(huì)有影子，因?yàn)楣饩€無(wú)法穿過這個(gè)物體。陰影的位置取決于光線和物體的相對(duì)位置。

 

雖然HypeVR可以使用激光雷達(dá)(激光遇到物體會(huì)發(fā)生反射，以確定距離)捕捉到場(chǎng)景中的深度數(shù)據(jù)，這個(gè)物體會(huì)擋住激光，并且呈現(xiàn)出“容積陰影”。但不像普通的陰影，這些容積陰影會(huì)在幾何結(jié)構(gòu)的后方留下一個(gè)洞，因?yàn)橄鄼C(jī)無(wú)法看到物體后面(恰如光線無(wú)法穿透這些物體)。

 

如果你完全靜止地站在拍攝點(diǎn)，這一問題不會(huì)有任何影響，因?yàn)槟悴粫?huì)看到被拍攝的物體后面的容積陰影。但是由于觀看者可以在空間中走動(dòng)，他們很有可能看到這些物體后面的情況，也就是會(huì)看到那些容積陰影。

 

我所看到的HypeVR展示內(nèi)容中并沒有容積陰影，這也就意味著這家公司已經(jīng)發(fā)現(xiàn)了解決這一問題(這段內(nèi)容中存在的問題)的有效辦法。

 

 

最簡(jiǎn)單的辦法或許是在后期制作時(shí)手動(dòng)修正幾何結(jié)構(gòu)，來填補(bǔ)這些洞。這會(huì)是相當(dāng)簡(jiǎn)單的(比如一個(gè)人離開相機(jī)幾步遠(yuǎn)的距離)，但也可能會(huì)極為困難(比如把相機(jī)放在濃密的森林中，周圍的樹和植物都在投射各種各樣的容積陰影)。

 

另一種辦法是在拍攝之后插入一個(gè)3D模型(這個(gè)模型會(huì)在真實(shí)世界中以攝影測(cè)量法進(jìn)行拍攝)到場(chǎng)景中，這樣一來，一開始就不會(huì)出現(xiàn)陰影了。這是個(gè)簡(jiǎn)單的方法，因?yàn)檎麄€(gè)場(chǎng)景都已經(jīng)被渲染成了3D幾何結(jié)構(gòu)，就像是一個(gè)游戲環(huán)境那樣，所以插入更多的3D物體相對(duì)來說更加直接。

 

最后一種辦法可能是容積視頻拍攝技術(shù)最終的發(fā)展方向--一個(gè)在繁雜的后期制作過程中進(jìn)行的實(shí)時(shí)進(jìn)行的場(chǎng)景拍攝與CGI模型的融合(類似我們今天看的電影大片的制作方法)。

 

移動(dòng)拍攝設(shè)備或許會(huì)讓事情更為復(fù)雜，因?yàn)檫@將會(huì)引起容積陰影出現(xiàn)在場(chǎng)景中的各個(gè)位置。HypeVR告訴我們，他們還沒有進(jìn)行過移動(dòng)攝像機(jī)的嘗試，以確定其技術(shù)是否可以處理平移問題。如果被證明拍攝設(shè)備在錄制時(shí)不能移動(dòng)，這也不一定會(huì)引發(fā)問題。這需要根據(jù)移動(dòng)設(shè)備對(duì)VR電影拍攝語(yǔ)言的重要性來決定。目前，許多的360° VR視頻制作都是使用固定位置的相機(jī)來完成的。

 

 

 

HypeVR所使用的拍攝設(shè)備是14臺(tái)RED相機(jī)，每臺(tái)相機(jī)都能拍攝60FPS的6K分辨率畫面。同時(shí)還有激光雷達(dá)數(shù)據(jù)記錄在每一幀中。處理和重新整合這些數(shù)據(jù)以達(dá)成最終狀態(tài)需要花費(fèi)大量的時(shí)間(通常每幀需要花費(fèi)6分鐘，在本地處理的話)。在所有的畫面都被成功渲染之后，用戶還需要從網(wǎng)上獲取這些視頻，雖然在拍攝時(shí)每30秒占用2GB，這還可以忍受。每30秒2GB的視頻其實(shí)是一個(gè)巨大的進(jìn)步。在不久之前，HypeVR拍攝的視頻每30秒能達(dá)到驚人的5.4TB。

 

像是HypeVR這種容積視頻拍攝技術(shù)仍然需要更好的壓縮技術(shù)，來壓縮成更加實(shí)用的文件體積。而在消費(fèi)者這邊，更快的網(wǎng)絡(luò)連接也扮演了重要的角色，可以讓這種VR視頻能夠更快地進(jìn)行傳輸，觀眾無(wú)需等待過大的下載量就可以觀看。

 

總之
 

目前的容積視頻拍攝技術(shù)還有很多挑戰(zhàn)需要面對(duì)，但這對(duì)于任何新的電影拍攝技術(shù)來說都是一樣。HypeVR已經(jīng)證明，拍攝這種人人都想體驗(yàn)的引人注目的實(shí)景VR視頻是可以做到的，同時(shí)還可以避免和減少局限性。在不斷變得更加復(fù)雜的影視制作過程中使用這項(xiàng)技術(shù)需要明智的導(dǎo)向以及新技術(shù)的開發(fā)，以獲得更加實(shí)際的制作時(shí)間和更加完美的最終產(chǎn)品。如果HypeVR公司的作品就是這樣的一個(gè)跡象，那么最終的結(jié)果會(huì)值得這樣努力。