轉自 通院BIGAI

6月6日，北京通用人工智能研究院院長朱松純教授受邀參加由中國人工智能學會主辦的CICAI國際人工智能會議，并帶來了《可解釋性人工智能：如何讓機器獲得人類有依據(jù)的信任》的主題報告。

本次大會旨在搭建國際學術交流平臺，為全球致力于人工智能技術研究的學者提供跨學科、跨領域、跨地區(qū)交流的機會，增強學術交流與產(chǎn)業(yè)交流的深度與廣度，激發(fā)新思想、培育新力量。

朱教授出席CICAI2021 并做《可解釋人工智能》專題報告

當前人工智能技術正在賦能各行各業(yè)，出現(xiàn)在了人們工作、生活的方方面面。但當人們與人工智能設備互動時，又會對人工智能時不時表現(xiàn)出的“智障”產(chǎn)生困惑，AI為什么總是答非所問？針對這些行業(yè)痛點，朱松純教授在專題報告中討論了當前人工智能前沿研究的一個十分緊要的課題：智能體（AI agent, 這里泛指人工智能系統(tǒng)）如何有效地“解釋”自己，取得人類用戶的“信任”， 從而產(chǎn)生高效的人機協(xié)作，進而融入一個人機共生共存的社會。

朱教授做專題報告

朱教授指出，當前比較流行的人工智能技術采用的是“大數(shù)據(jù)，小任務”范式，產(chǎn)業(yè)界更傾向于將人工智能技術等同于“大數(shù)據(jù)+深度學習+超大算力”?；谶@一范式的人工智能技術距離人們對AI的期待還有較大差距，例如，AI只能完成特定的、人類事先定義的任務做不到通用；每項任務都需要大量標注的數(shù)據(jù)，沒有數(shù)據(jù)就不知所措；模型不可解釋與知識表達不能交流，無法與人做多回合交互等?！按髷?shù)據(jù)+深度學習”范式是將訓練數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡中，然后得到一個預測值，這個神經(jīng)網(wǎng)絡由數(shù)量龐大的神經(jīng)元組成，其演算機制無法解釋，造成人無法信任AI。

因此，我們未來要發(fā)展具有可解釋性的人工智能，讓人工智能技術跳出“黑箱”，成為可解釋、可解讀、可信任的人工智能。可解釋的人工智能（Explainable AI）大致分為兩個層次：1. 自省與可解讀性，即機器與人類達成共同語言表達；2. 自辯的能力，即機器要向人類解釋其計算的機理與過程。

當談到如何建立信任時，朱教授說，AI如果要獲得人的信任，要在兩個層次上獲得人的信任：1.能力的邊界：AI要讓人清晰地知道在什么條件下AI能做到什么樣的性能，可以完成哪些任務；2.感情的紐帶：AI要與人保持相近的價值觀，把人類的價值放在重要位置，要讓人知道AI和自己是命運共同體，時刻維護人的利益。通過人機之間的迭代、交流、協(xié)作增進互相理解，進而達成共識，產(chǎn)生“有依據(jù)的信任”(Justified Trust)。

為此，朱教授提出了人機之間建立有心智理論的可解釋性框架 (Explanation with Theory-of-Mind, X-ToM)。人機之間需要對客觀的物理世界產(chǎn)生相同的感知，通過交流認識到對方是如何看待同一個事物的從而形成“共識”，即你知道我是知道你知道的，X-ToM便是這種人機之間的交流模型。

朱教授通過氣泡游戲解讀X-ToM模型和與或圖模型

AI通過人機交互的X-ToM框架，并采用可解釋的“與或圖模型”，實現(xiàn)模型的可解釋、可追溯、可修改，讓人工智能技術成為透明的、可控的、可信的技術。在實際應用中，人們知道AI給出答案的依據(jù)是什么，計算的過程是什么，進而實現(xiàn)人對人工智能有依據(jù)的信任。

未來，北京通用人工智能研究院將深入探索視覺、語言與認知形成的學習閉環(huán)，進而實現(xiàn)人機之間擁有共識、形成共同的社會規(guī)范和行為價值，賦予人工智能以三觀，讓人工智能技術真正融入人類社會，創(chuàng)造通用智能體，提升全人類福祉的愿景。