AI決策過程的黑匣子問題一直是AI領域最大的擔憂之一,但近期黑匣子決策問題似乎被破解。來自加州大學伯克利分校、阿姆斯特丹大學、Facebook AI Research團隊的研究人員創(chuàng)建出一個AI自我解釋模型,該模型可使AI在回答問題時指出問題對應的證據(jù),在回答相關圖像問題時,其能夠為其決策提供自然語言理由并指出圖像顯示證據(jù)。
來自加州大學伯克利分校、阿姆斯特丹大學、Facebook AI Research團隊的研究人員創(chuàng)建出一個AI自我解釋模型,該模型可使AI在回答問題時指出問題對應的證據(jù),在回答相關圖像問題時,其能夠為其決策提供自然語言理由并指出圖像顯示證據(jù)。
“黑匣子”變得透明,這是一件大事。
在許多環(huán)境中,深度模型既有效又可解釋;先前可解釋的模型是單峰模型,提供了基于圖像的注意權重的可視化或基于文本的事后理由的生成。
這次的研究提出了一種多模式的解釋方法,并且認為這兩種模式提供了互補的說明性優(yōu)勢。
團隊收集兩個新的數(shù)據(jù)集來定義和評估這個任務,并提出一個新的模型,可以提供聯(lián)合文本理性和可視化生成。我們的數(shù)據(jù)集定義了活動識別任務(ACT-X)和視覺問題解答任務(VQA-X)的分類決策的視覺和文本理由。
在數(shù)量上表明,使用文本解釋進行培訓不僅可以產生更好的文本理由模型,還可以更好地定位支持決策的證據(jù)。我們還定性地展示了視覺解釋比文本解釋更具洞察力的情況,反之亦然,支持我們的論點:多模式解釋模型提供了超越單峰方法的顯著優(yōu)勢。
VQA-X定性結果:對于每個圖像,PJ-X模型提供了答案和理由,并指出了該理由的證據(jù)。
弄清楚為什么一個神經網絡做出它所做的決定是人工智能領域最大的擔憂之一。正如它所稱的那樣,黑盒問題實際上使我們不能相信AI系統(tǒng)。
像人類一樣,它可以“指出”它用來回答問題的證據(jù),并且通過文本可以描述它如何解釋證據(jù)。它的開發(fā)旨在回答那些需要九歲小孩平均智力的問題。
這是人們第一次創(chuàng)建了一個可以用兩種不同方式解釋自己的系統(tǒng):
我們的模型是第一個能夠為決策提供自然語言理由并指向圖像中的證據(jù)的人。
研究人員開發(fā)了AI來回答關于圖像的簡單語言查詢。它可以回答關于給定場景中的對象和動作的問題。它通過描述它看到的內容并突出顯示圖像的相關部分來解釋它的答案。
它并不總是讓事情正確。在實驗過程中,人工智能感到困惑,無法確定一個人是否在微笑,也無法分辨出一個人在使用吸塵器的人和一個正在使用吸塵器的人之間的區(qū)別。
但是,這是一個重點:當電腦出現(xiàn)問題時,我們需要知道原因。
為了達到任何可衡量的成熟度,AI的領域需要調試,錯誤檢查和理解機器決策過程的方法。神經網絡發(fā)展并成為我們數(shù)據(jù)分析的主要來源時尤其如此。
為人工智能展示其工作并以外行人員的角度解釋自己,這是一個巨大的飛躍,可以避免每個人似乎都很擔心的機器人啟示。