文 | 原刊于中國人工智能學會通訊

丨2019年 第9卷 第01期

推理是人類智能活動的重要組成部分，一直以來是人工智能研究的核心內(nèi)容。人工智能進入了以深度學習技術為主導的新時代, 無論是計算機視覺、語音識別、語言理解、機器翻譯、對話系統(tǒng)等，似乎無處不是數(shù)據(jù)驅動下深度學習的“功勞”。從推理的視角來看，從已知的事實（有標注的數(shù)據(jù)），得出未知的結論，就是推理。但對智能系統(tǒng)做出的推理結果，需要有一個行為的解釋機制。

深度學習是一個黑箱，最大的弊端是缺乏對其結果的解釋能力?；叵朐谥R工程時代，基于規(guī)則的專家系統(tǒng)技術，其結果卻具有很好的解釋性。受此啟發(fā)，我們提出這樣一個問題：在解決“可解釋”的推理上，傳統(tǒng)的知識工程技術是否可以繼續(xù)發(fā)揮作用？可解釋的人工智能未來的發(fā)展方向是什么?

讓我們回顧一下人工智能推理的早期階段——知識工程時代。知識工程包括知識的獲取、表達和推理，其本質(zhì)是將數(shù)據(jù)轉換為易于機器處理的結構化知識。一個典型的專家系統(tǒng)由知識庫與推理機組成，前者需要專家人工構建（見圖1）。知識工程的代表——專家系統(tǒng)，可以順著推理機使用到的規(guī)則, 表現(xiàn)出很好的解釋能力。從20 世紀90 年代后期開始，知識工程因以下一些困擾而進入了低潮。

圖1：傳統(tǒng)知識工程的組成

1. 知識獲取困難。知識庫構建過程中依賴專家人工構建的方式。如Cyc[1] 在2000 年，積累了160 萬條常識性知識，在耗費了350 人/ 年的成本后最終失敗。

2. 構建專家系統(tǒng)需要完備的領域知識（包括常識），對于大部分問題本身具有的不確定性，要從專家的經(jīng)驗中構建推理引擎非常困難，這限制了專家系統(tǒng)的應用。

盡管知識工程這個名詞已不再流行，但知識工程將數(shù)據(jù)轉換為易于機器處理的結構化知識的本質(zhì)，其自頂向下的演繹推理方式可能是解開目前可解釋性缺失困擾的途徑之一。目前已經(jīng)出現(xiàn)的一系列研究正在彌補傳統(tǒng)知識工程的缺陷，并努力將知識引導與數(shù)據(jù)驅動這兩種知識獲取與推理方式進行融合，其中一個典型的代表就是CMU 的永不停息語言學習者NELL[2]。NELL 通過機器學習、NLP 等數(shù)據(jù)驅動手段并結合人工介入，來從互聯(lián)網(wǎng)網(wǎng)頁中析取斷言式知識(beliefs)，形成海量的通用知識圖譜，這從一定程度上解決了解釋性中知識來源的問題，改善了傳統(tǒng)知識工程知識獲取困難的問題。在基于知識的推理方面，IBM 的Watson 系統(tǒng)[3] 在Jeopardy 挑戰(zhàn)中戰(zhàn)勝了兩位人類冠軍，其核心算法Deep QA 通過生成問題答案的候選（假設），在非結構化數(shù)據(jù)中收集證據(jù)，并用機器學習模型對證據(jù)進行評分，最后利用聚合算法實現(xiàn)對假設的排序。這種方式借鑒了專家系統(tǒng)中推理引擎的推理流程，實現(xiàn)了數(shù)據(jù)驅動算法與推理流程的有機融合。圖神經(jīng)網(wǎng)絡[4] 等研究也正嘗試將傳統(tǒng)的貝葉斯網(wǎng)絡和知識圖譜，與深度學習相融合，來探索深度學習的可解釋機制。

可解釋性的問題正在引起各界的關注。2017 年7 月美國國防部高級研究計劃署啟動了7 000 萬美元的可解釋性人工智能計劃（XAI）[5] 旨在對軍事領域智能算法的認知進行理解。歐盟在2018 年生效的通用數(shù)據(jù)保護法中引入解釋的權力[6]，旨在處理算法不可解釋帶來的問題。學術界也正從多個不同的角度入手開展研究，出現(xiàn)了反事實探測[7]、可視化[8]、轉移學習[9] 等一系列基于事后解析的方法。在實時分析方面，則出現(xiàn)了多跳注意力[10]、推導過程生成[11]，以及可解釋性網(wǎng)絡[12] 等一系列研究。其中知識計算延續(xù)了知識工程的目標，是一種融合實時與事后可解釋性分析的計算框架，是傳統(tǒng)知識工程與大數(shù)據(jù)、算法與群體智慧融合后的產(chǎn)物。知識的獲取已不單純依靠從專家的經(jīng)驗中總結出來, 而是綜合應用多種“計算”手段而獲得的（見圖2）。

圖2：知識計算框架

知識計算人在回路的架構，為可解釋的人工智能的實現(xiàn)提供了框架，是大數(shù)據(jù)下的新型知識工程。未來在探索可解釋的人工智能推理的研究中，我們?nèi)孕柙诖嘶A上建立知識、數(shù)據(jù)和反饋于一體的人工智能理論和模型，有機協(xié)調(diào)“知識指導下的演繹”、“數(shù)據(jù)驅動中的歸納”與“行為強化內(nèi)的規(guī)劃”。 知識工程從提出至今，作為早期的知識推理手段對后續(xù)的一系列研究產(chǎn)生了深遠的影響，從這個意義上講，知識工程并沒有過時，在未來將繼續(xù)在人工智能研究中扮演重要的角色。

參考文獻

[1] Lenat, D.B., M. Prakash, and M. Shepherd, CYC: Using common sense knowledge to overcome brittleness and knowledge acquisition bottlenecks. AI magazine, 1985. 6(4): 65.

[2] Carlson, A., et al. Toward an architecture for never-ending language learning. in AAAI. 2010. Atlanta.

[3] Ferrucci, D.A., Introduction to “this is watson”. IBM Journal of Research and Development, 2012. 56(3.4): 1: 1-1: 15.

[4] Battaglia, P.W., et al. Relational inductive biases, deep learning, and graph networks. arXiv preprint arXiv:1806.01261, 2018.

[5] Gunning, D., Explainable artificial intelligence (xai). Defense Advanced Research Projects Agency (DARPA), nd Web, 2017.

[6] Goodman, B. and S.R. Flaxman, European Union regulations on algorithmic decision-making and a. 2017.

[7] Ribeiro, M.T., S. Singh, and C. Guestrin. Why should i trust you?: Explaining the predictions of any classifier. in Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining. 2016. ACM.

[8] Zeiler, M.D. and R. Fergus. Visualizing and understanding convolutional networks. in European conference on computer vision. 2014. Springer.

[9] Wang, H., et al. Emergent Predication Structure in Hidden State Vectors of Neural Readers. arXiv preprint arXiv:1611.07954, 2016.

[10] Shen, Y., et al. Reasonet: Learning to stop reading in machine comprehension. in Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2017. ACM.

[11] Ling, W., et al. Program induction by rationale generation: Learning to solve and explain algebraic word problems. arXiv preprint arXiv:1705.04146, 2017.

[12] Zhang, Q., Y.N. Wu, and S.-C. Zhu. Interpretable convolutional neural networks. in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2018.