迪士尼推新動(dòng)畫(huà)語(yǔ)言程序：讓VR角色更真實(shí)
2017-08-18 09:27:55 來(lái)源：黑匣VR 熱度:
近日，一篇由迪士尼研究所和幾所大學(xué)的研究人員撰寫(xiě)的論文發(fā)布，文章介紹了一種基于深度學(xué)習(xí)的程序語(yǔ)言動(dòng)畫(huà)新方法。
該系統(tǒng)對(duì)人類(lèi)說(shuō)話(huà)錄音進(jìn)行采樣，并使它自動(dòng)生成匹配的嘴型動(dòng)畫(huà)。該方法可以應(yīng)用到從提高管道動(dòng)畫(huà)的效率到使VR社交更有說(shuō)服力，它可以在VR社交中實(shí)時(shí)化地呈現(xiàn)角色的演講內(nèi)容。
迪士尼研究所、加拿大東加利福尼亞理工大學(xué)和卡內(nèi)基梅隆大學(xué)的研究人員撰寫(xiě)了這篇題為《廣義語(yǔ)音動(dòng)畫(huà)深度學(xué)習(xí)方法》的論文。論文描述了一種已經(jīng)用“深度學(xué)習(xí)/神經(jīng)網(wǎng)絡(luò)”方法訓(xùn)練的系統(tǒng)，利用單個(gè)揚(yáng)聲器8小時(shí)的參考畫(huà)面（2543句），教導(dǎo)系統(tǒng)根據(jù)不同的語(yǔ)音單元（稱(chēng)為音素）配合生成不同嘴型及其組合。
經(jīng)過(guò)訓(xùn)練的系統(tǒng)可以自主分析來(lái)自任何揚(yáng)聲器的音頻，并自動(dòng)產(chǎn)生相應(yīng)的嘴型，然后將其用于動(dòng)畫(huà)模型的自動(dòng)語(yǔ)音生成。
在VR中，該系統(tǒng)可以通過(guò)用戶(hù)語(yǔ)音實(shí)時(shí)對(duì)應(yīng)虛擬角色的嘴型，使其更加逼真。
一些社交應(yīng)用已經(jīng)在使用各種系統(tǒng)進(jìn)行嘴形跟蹤。Oculus為Unity提供了一個(gè)嘴型同步插件，其原理是基于音頻輸入來(lái)確定角色說(shuō)話(huà)嘴型。然而與迪士尼提供的新系統(tǒng)相比，細(xì)節(jié)性和準(zhǔn)確性都差了些。
責(zé)任編輯：吳一波
相關(guān)推薦
迪士尼將和AR公司合作建設(shè)神秘實(shí)驗(yàn)室
7月18日上午，美國(guó)增強(qiáng)現(xiàn)實(shí)創(chuàng)業(yè)公司MagicLeapCEO羅尼·阿伯維茨(RonyAbovitz)表示，該公司將與迪士尼的合作在舊金山開(kāi)發(fā)一處秘密實(shí)驗(yàn)室，邀請(qǐng)開(kāi)發(fā)者在其發(fā)布產(chǎn)品前在那里測(cè)試項(xiàng)目。該實(shí)驗(yàn)室其實(shí)并不算秘密，阿伯維茨披露它的位置——位于盧卡斯影業(yè)舊金山Presidio園區(qū)里的Yoda噴泉附近。阿伯維茨還表示，目前為止已經(jīng)有數(shù)千人見(jiàn)過(guò)該公司的技術(shù)。但可惜的是
星戰(zhàn)迷福音！聯(lián)想要和迪士尼聯(lián)合推出星戰(zhàn)版AR游戲設(shè)備
聯(lián)想與迪士尼聯(lián)合推出《星球大戰(zhàn)》AR游戲硬件
進(jìn)擊的迪士尼：這家動(dòng)畫(huà)巨頭為什么頻頻在 VR/AR 上露出了獠牙？