又一里程碑：微軟宣布中英機器翻譯達(dá)到人類水平
2018-03-15 10:20:58 來源：網(wǎng)易智能 熱度:
微軟技術(shù)院士黃學(xué)東
昨天，由微軟亞洲研究院與雷德蒙研究院的研究人員組成的團(tuán)隊宣布，其研發(fā)的機器翻譯系統(tǒng)在通用新聞報道測試集newstest2017的中-英測試集上，達(dá)到了可與人工翻譯媲美的水平，微軟稱這是首個在新聞報道的翻譯質(zhì)量和準(zhǔn)確率上可以比肩人工翻譯的翻譯系統(tǒng)。
據(jù)了解，newstest2017新聞報道測試集由產(chǎn)業(yè)界和學(xué)術(shù)界的合作伙伴共同開發(fā)，并于去年秋天在WMT17大會上發(fā)布。為了確保翻譯結(jié)果準(zhǔn)確且達(dá)到人類的翻譯水平，微軟研究團(tuán)隊邀請了雙語語言顧問將微軟的翻譯結(jié)果與兩個獨立的人工翻譯結(jié)果進(jìn)行了比較評估。
微軟技術(shù)院士，負(fù)責(zé)微軟語音、自然語言和機器翻譯工作的黃學(xué)東稱，這是對自然語言處理領(lǐng)域最具挑戰(zhàn)性任務(wù)的一項重大突破。“在機器翻譯方面達(dá)到與人類相同的水平是所有人的夢想，我們沒有想到這么快就能實現(xiàn)。”他表示，“消除語言障礙，幫助人們更好地溝通，這非常有意義，值得我們多年來為此付出的努力。”
機器翻譯是科研人員攻堅了數(shù)十年的研究領(lǐng)域，曾經(jīng)很多人都認(rèn)為機器翻譯根本不可能達(dá)到人類翻譯的水平。雖然此次突破意義非凡，但研究人員也提醒大家，這并不代表人類已經(jīng)完全解決了機器翻譯的問題，只能說明我們離終極目標(biāo)又更近了一步。微軟亞洲研究院副院長、自然語言計算組負(fù)責(zé)人周明表示，在WMT17測試集上的翻譯結(jié)果達(dá)到人類水平很鼓舞人心，但仍有很多挑戰(zhàn)需要我們解決，比如在實時的新聞報道上測試系統(tǒng)等。
微軟機器翻譯團(tuán)隊研究經(jīng)理Arul Menezes表示，團(tuán)隊想要證明的是：當(dāng)一種語言對（比如中-英）擁有較多的訓(xùn)練數(shù)據(jù)，且測試集中包含的是常見的大眾類新聞詞匯時，那么在人工智能技術(shù)的加持下機器翻譯系統(tǒng)的表現(xiàn)可以與人類媲美。
跨時區(qū)跨領(lǐng)域合作
雖然學(xué)術(shù)界和產(chǎn)業(yè)界的科研人員致力于機器翻譯研究很多年，但近兩年深度神經(jīng)網(wǎng)絡(luò)的使用讓機器翻譯的表現(xiàn)取得了很多實質(zhì)性突破，翻譯結(jié)果相較于以往的統(tǒng)計機器翻譯結(jié)果更加自然流暢。為了能夠取得中-英翻譯的里程碑式突破，來自微軟亞洲研究院和雷德蒙研究院的三個研究組，進(jìn)行了跨越中美時區(qū)、跨越研究領(lǐng)域的聯(lián)合創(chuàng)新。
其中，微軟亞洲研究院機器學(xué)習(xí)組將他們的最新研究成果——對偶學(xué)習(xí)（Dual Learning）和推敲網(wǎng)絡(luò)（Deliberation Networks）應(yīng)用在了此次取得突破的機器翻譯系統(tǒng)中。微軟亞洲研究院副院長、機器學(xué)習(xí)組負(fù)責(zé)人劉鐵巖介紹道，“這兩個技術(shù)的研究靈感其實都來自于我們?nèi)祟惖淖鍪路绞健?rdquo;對偶學(xué)習(xí)利用的是人工智能任務(wù)的天然對稱性。當(dāng)我們將其應(yīng)用在機器翻譯上時，效果就好像是通過自動校對來進(jìn)行學(xué)習(xí)——當(dāng)我們把訓(xùn)練集中的一個中文句子翻譯成英文之后，系統(tǒng)會將相應(yīng)的英文結(jié)果再翻譯回中文，并與原始的中文句子進(jìn)行比對，進(jìn)而從這個比對結(jié)果中學(xué)習(xí)有用的反饋信息，對機器翻譯模型進(jìn)行修正。而推敲網(wǎng)絡(luò)則類似于人們寫文章時不斷推敲、修改的過程。通過多輪翻譯，不斷地檢查、完善翻譯的結(jié)果，從而使翻譯的質(zhì)量得到大幅提升。對偶學(xué)習(xí)和推敲網(wǎng)絡(luò)的工作發(fā)表在NIPS、ICML、AAAI、IJCAI等人工智能的全球頂級會議上，并且已被其他學(xué)者推廣到機器翻譯以外的研究領(lǐng)域。
微軟亞洲研究院副院長、機器學(xué)習(xí)組負(fù)責(zé)人劉鐵巖
此外，周明帶領(lǐng)的自然語言計算組多年來一直致力于攻克機器翻譯，周明表示，“由于翻譯沒有唯一的標(biāo)準(zhǔn)答案，它更像是一種藝術(shù)，因此需要更加復(fù)雜的算法和系統(tǒng)去應(yīng)對。”自然語言計算組基于之前的研究積累，在此次的系統(tǒng)模型中增加了另外兩項新技術(shù)：聯(lián)合訓(xùn)練（Joint Training）和一致性規(guī)范（Agreement Regularization），以提高翻譯的準(zhǔn)確性。聯(lián)合訓(xùn)練可以理解為用迭代的方式去改進(jìn)翻譯系統(tǒng)，用中英翻譯的句子對去補充反向翻譯系統(tǒng)的訓(xùn)練數(shù)據(jù)集，同樣的過程也可以反向進(jìn)行。一致性規(guī)范則讓翻譯可以從左到右進(jìn)行，也可以從右到左進(jìn)行，最終讓兩個過程生成一致的翻譯結(jié)果。
微軟亞洲研究院副院長、自然語言計算組負(fù)責(zé)人周明
可以說，兩個研究組分別將各自所在領(lǐng)域的積累與最新發(fā)現(xiàn)應(yīng)用在了此次的機器翻譯系統(tǒng)中，從不同角度切入，讓翻譯質(zhì)量大幅提升。在項目合作過程中，他們每周都會與雷德蒙總部的團(tuán)隊開會討論，確保技術(shù)可以無縫融合，系統(tǒng)可以快速迭代。
沒有“正確的”翻譯結(jié)果
據(jù)網(wǎng)易智能獲悉，newstest2017新聞報道測試集包括約2000個句子，由專業(yè)人員從在線報紙樣本翻譯而來。微軟團(tuán)隊對測試集進(jìn)行了多輪評估，每次評估會隨機挑選數(shù)百個句子翻譯。為了驗證微軟的機器翻譯是否與人類的翻譯同樣出色，微軟沒有停留在測試集本身的要求，而是從外部聘請了一群雙語語言顧問，將微軟的翻譯結(jié)果與人工翻譯進(jìn)行比較。
驗證過程之復(fù)雜也從另一個側(cè)面體現(xiàn)了機器翻譯要做到準(zhǔn)確所面臨的復(fù)雜性。對于語音識別等其它人工智能任務(wù)來說，判斷系統(tǒng)的表現(xiàn)是否可與人類媲美相當(dāng)簡單，因為理想結(jié)果對人和機器來說完全相同，研究人員也將這種任務(wù)稱為模式識別任務(wù)。
然而，機器翻譯卻是另一種類型的人工智能任務(wù)，即使是兩位專業(yè)的翻譯人員對于完全相同的句子也會有略微不同的翻譯，而且兩個人的翻譯都不是錯的。那是因為表達(dá)同一個句子的“正確的”方法不止一種。 周明表示：“這也是為什么機器翻譯比純粹的模式識別任務(wù)復(fù)雜得多，人們可能用不同的詞語來表達(dá)完全相同的意思，但未必能準(zhǔn)確判斷哪一個更好。”
復(fù)雜性讓機器翻譯成為一個極有挑戰(zhàn)性的問題，但也是一個極有意義的問題。劉鐵巖認(rèn)為，我們不知道哪一天機器翻譯系統(tǒng)才能在翻譯任何語言、任何類型的文本時，都能在“信、達(dá)、雅”等多個維度上達(dá)到專業(yè)翻譯人員的水準(zhǔn)。不過，他對技術(shù)的進(jìn)展表示樂觀，因為每年微軟的研究團(tuán)隊以及整個學(xué)術(shù)界都會發(fā)明大量的新技術(shù)、新模型和新算法，“我們可以預(yù)測的是，新技術(shù)的應(yīng)用一定會讓機器翻譯的結(jié)果日臻完善。”
研究團(tuán)隊還表示，此次技術(shù)突破將被應(yīng)用到微軟的商用多語言翻譯系統(tǒng)產(chǎn)品中，從而幫助其它語言或詞匯更復(fù)雜、更專業(yè)的文本實現(xiàn)更準(zhǔn)確、更地道的翻譯。此外，這些新技術(shù)還可以被應(yīng)用在機器翻譯之外的其他領(lǐng)域，催生更多人工智能技術(shù)和應(yīng)用的突破。
機器翻譯需要用到哪些算法？
對偶學(xué)習(xí)（Dual Learning）：對偶學(xué)習(xí)的發(fā)現(xiàn)是由于現(xiàn)實中有意義、有實用價值的人工智能任務(wù)往往會成對出現(xiàn)，兩個任務(wù)可以互相反饋，從而訓(xùn)練出更好的深度學(xué)習(xí)模型。例如，在翻譯領(lǐng)域，我們關(guān)心從英文翻譯到中文，也同樣關(guān)心從中文翻譯回英文；在語音領(lǐng)域，我們既關(guān)心語音識別的問題，也關(guān)心語音合成的問題；在圖像領(lǐng)域，圖像識別與圖像生成也是成對出現(xiàn)。此外，在對話引擎、搜索引擎等場景中都有對偶任務(wù)。
一方面，由于存在特殊的對偶結(jié)構(gòu)，兩個任務(wù)可以互相提供反饋信息，而這些反饋信息可以用來訓(xùn)練深度學(xué)習(xí)模型。也就是說，即便沒有人為標(biāo)注的數(shù)據(jù)，有了對偶結(jié)構(gòu)也可以做深度學(xué)習(xí)。另一方面，兩個對偶任務(wù)可以互相充當(dāng)對方的環(huán)境，這樣就不必與真實的環(huán)境做交互，兩個對偶任務(wù)之間的交互就可以產(chǎn)生有效的反饋信號。因此，充分地利用對偶結(jié)構(gòu)，就有望解決深度學(xué)習(xí)和增強學(xué)習(xí)的瓶頸——訓(xùn)練數(shù)據(jù)從哪里來、與環(huán)境的交互怎么持續(xù)進(jìn)行等問題。
對偶無監(jiān)督學(xué)習(xí)框架
推敲網(wǎng)絡(luò)（Deliberation Networks）：“推敲”二字可以認(rèn)為是來源于人類閱讀、寫文章以及做其他任務(wù)時候的一種行為方式，即任務(wù)完成之后，并不當(dāng)即終止，而是會反復(fù)推敲。微軟亞洲研究院機器學(xué)習(xí)組將這個過程沿用到了機器學(xué)習(xí)中。推敲網(wǎng)絡(luò)具有兩段解碼器，其中第一階段解碼器用于解碼生成原始序列，第二階段解碼器通過推敲的過程打磨和潤色原始語句。后者了解全局信息，在機器翻譯中看，它可以基于第一階段生成的語句，產(chǎn)生更好的翻譯結(jié)果。
推敲網(wǎng)絡(luò)的解碼過程
聯(lián)合訓(xùn)練（Joint Training）：這個方法可以認(rèn)為是從源語言到目標(biāo)語言翻譯（Source to Target）的學(xué)習(xí)與從目標(biāo)語言到源語言翻譯（Target to Source）的學(xué)習(xí)的結(jié)合。中英翻譯和英中翻譯都使用初始并行數(shù)據(jù)來訓(xùn)練，在每次訓(xùn)練的迭代過程中，中英翻譯系統(tǒng)將中文句子翻譯成英文句子，從而獲得新的句對，而該句對又可以反過來補充到英中翻譯系統(tǒng)的數(shù)據(jù)集中。同理，這個過程也可以反向進(jìn)行。這樣雙向融合不僅使得兩個系統(tǒng)的訓(xùn)練數(shù)據(jù)集大大增加，而且準(zhǔn)確率也大幅提高。
聯(lián)合訓(xùn)練：從源語言到目標(biāo)語言翻譯（Source to Target）P(y|x) 與從目標(biāo)語言到源語言翻譯（Target to Source）P(x|y)
一致性規(guī)范（Agreement Regularization）：翻譯結(jié)果可以從左到右按順序產(chǎn)生，也可以從右到左進(jìn)行生成。該規(guī)范對從左到右和從右到左的翻譯結(jié)果進(jìn)行約束。如果這兩個過程生成的翻譯結(jié)果一樣，一般而言比結(jié)果不一樣的翻譯更加可信。這個約束，應(yīng)用于神經(jīng)機器翻譯訓(xùn)練過程中，以鼓勵系統(tǒng)基于這兩個相反的過程生成一致的翻譯結(jié)果。
一致性規(guī)范：從左到右 和從右到左
責(zé)任編輯：吳一波
