求解微分方程的人工智能與深度學(xué)習(xí)方法：現(xiàn)狀及展望

taotao_2016 2023-04-03 發(fā)布于遼寧

展開全文

盧經(jīng)緯^1,2, 程相^1,3, 王飛躍^1,3

1. 中國科學(xué)院自動化研究所復(fù)雜系統(tǒng)管理與控制國家重點實驗室，北京 100190

2. 青島智能產(chǎn)業(yè)技術(shù)研究院，山東青島 266114

3. 中國科學(xué)院大學(xué)人工智能學(xué)院，北京 100049

【摘要】隨著基礎(chǔ)理論和硬件計算能力的飛速發(fā)展，深度學(xué)習(xí)技術(shù)在眾多領(lǐng)域取得了令人矚目的成績。作為描述客觀物理世界的重要工具，長期以來微分方程是各領(lǐng)域研究人員關(guān)心的重點。近年來，深度學(xué)習(xí)和微分方程的結(jié)合逐漸成了研究的熱點。由于深度學(xué)習(xí)能夠從大量數(shù)據(jù)中高效地提取特征，微分方程能夠反應(yīng)客觀的物理規(guī)律，因此二者的結(jié)合可以有效地提升深度學(xué)習(xí)的泛化性，同時增強深度學(xué)習(xí)的可解釋性。首先，介紹了深度學(xué)習(xí)求解微分方程的基本問題。其次，介紹了兩類深度學(xué)習(xí)求解微分方程的方法：數(shù)據(jù)驅(qū)動和物理知情方法。然后，討論了微分方程深度學(xué)習(xí)求解方法在實際中的應(yīng)用。與此同時，在充分調(diào)研的基礎(chǔ)上提出了科學(xué)智能大模型——DeDAO（微分之道），以應(yīng)對現(xiàn)有的挑戰(zhàn)。最后，對微分方程深度學(xué)習(xí)求解方法進行了簡要總結(jié)。

【關(guān)鍵詞】 人工智能 ; 深度學(xué)習(xí) ; 神經(jīng)網(wǎng)絡(luò) ; 微分方程

【引用格式】

盧經(jīng)緯, 程相, 王飛躍. 求解微分方程的人工智能與深度學(xué)習(xí)方法：現(xiàn)狀及展望[J]. 智能科學(xué)與技術(shù)學(xué)報, 2022, 4(4): 461-476.

LU J W, CHENG X, WANG F Y. Artificial intelligence and deep learning methods for solving differential equations: the state of the art and prospects[J]. Chinese Journal of Intelligent Science and Technology, 2022, 4(4): 461-476.

0 引言

隨著時間的變化，客觀物理世界中的事物也在變化，如山脈侵蝕、河床演變、人口遷移、經(jīng)濟波動、技術(shù)進步等，大量客觀物理規(guī)律變化都可以由時間的函數(shù)來描述。具體來說，可由以時間和其他變量為自變量的微分方程（differential equation， DE）來描述。微分方程是表示未知函數(shù)及其導(dǎo)數(shù)與自變量之間關(guān)系的方程，主要包括：常微分方程（ordinary differential equation，ODE）、偏微分方程（partial differential equation，PDE）、隨機微分方程（stochastic differential equation，SDE）、積分微分方程（integro-differential equation，IDE）以及微分代數(shù)方程（differential algebraic equation，DAE）。在上述微分方程中，PDE作為更一般形式的微分方程，可描述的物理規(guī)律更廣泛、求解更復(fù)雜且具有更大的研究價值。ODE可視為PDE的特例。廣泛研究的 PDE 包括物理學(xué)中的泊松方程（Poisson’s equation）、納維-斯托克斯方程（Navier-Stokes equation）、麥克斯韋方程（Maxwell’s equation）、薛定諤方程（Schr?dinger equation）及工程應(yīng)用領(lǐng)域的哈密頓-雅可比-貝爾曼方程（Hamilton-JacobiBellman equation）等。因此，微分方程描述的物理現(xiàn)象廣泛存在于自然科學(xué)、民生、經(jīng)濟和工業(yè)等領(lǐng)域中，其求解方法研究具有重大的理論和實際工程價值。

由微分方程描述復(fù)雜動力學(xué)系統(tǒng)的建模和預(yù)測仍然是具有挑戰(zhàn)性的問題。以地球系統(tǒng)為例，其動力學(xué)特性受到物理、化學(xué)和生物等過程相互作用影響，這些過程發(fā)生在跨越多個數(shù)量級的時空尺度。在過去的幾十年中，研究人員嘗試使用有限差分法（finite difference method）、有限元法（finite element method）、譜方法（spectral method）以及無網(wǎng)格方法（meshfree method）以數(shù)值形式求解 PDE，并在許多動力學(xué)系統(tǒng)應(yīng)用方面取得了成功。盡管傳統(tǒng)方法取得了不錯的效果，但多數(shù)結(jié)果只適用于低維度的非線性系統(tǒng)，利用上述傳統(tǒng)方法對非線性的復(fù)雜巨系統(tǒng)的演化進行建模和預(yù)測難以實現(xiàn)。此外，微分方程反問題的求解仍是棘手的問題。實際應(yīng)用中數(shù)據(jù)存在缺失、裂隙或噪聲邊界條件等問題，這些問題都極大地影響傳統(tǒng)方法的求解精度。因此，亟須提出新的方法來解決上述問題。

近年來，人工智能（artificial intelligence，AI）及相關(guān)智能技術(shù)飛速發(fā)展，其中典型代表為深度學(xué)習(xí)（deep learning）。深度學(xué)習(xí)作為AI的重要分支，近年來取得了重大進展。大量研究結(jié)果表明，深度學(xué)習(xí)在處理高維復(fù)雜結(jié)構(gòu)的數(shù)據(jù)時表現(xiàn)優(yōu)異，因此適用于處理與復(fù)雜系統(tǒng)相關(guān)的問題。除了在計算機視覺、自然語言以及語音識別等傳統(tǒng) AI問題方面取得了目前最高的水平，它還在圍棋博弈、預(yù)測蛋白質(zhì)結(jié)構(gòu)、分析粒子加速器數(shù)據(jù)以及重建大腦電路等方面取得了舉世矚目的成績。更令人驚喜的是，基于深度學(xué)習(xí)的大模型（big/foundation model）已經(jīng)在自然語言和圖像的各種任務(wù)中取得了超越人類的表現(xiàn)，如主題分類、情感分析、問題回答、語言翻譯及圖片生成等，是實現(xiàn)通用人工智能道路上非常有潛力的手段之一。

一般來說，傳統(tǒng)機器學(xué)習(xí)或深度學(xué)習(xí)均通過數(shù)據(jù)充分挖掘復(fù)雜系統(tǒng)的特征和本質(zhì)，并完成特定任務(wù)。不同的是，傳統(tǒng)機器學(xué)習(xí)需手動設(shè)計特征，再利用神經(jīng)網(wǎng)絡(luò)（neural network）、支持向量機（support vector machine，SVM）和決策樹（decision tree）等方法完成任務(wù)。而深度學(xué)習(xí)則通過復(fù)雜神經(jīng)網(wǎng)絡(luò)的設(shè)計，如卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）、Transfomer等，將特征設(shè)計的任務(wù)融入神經(jīng)網(wǎng)絡(luò)，實現(xiàn)了端到端的學(xué)習(xí)模式，充分挖掘神經(jīng)網(wǎng)絡(luò)的潛力，極大地提升了網(wǎng)絡(luò)性能。

盡管深度學(xué)習(xí)取得了長足的進步，但一個不可忽略的事實是，目前深度學(xué)習(xí)的成功是建立在高質(zhì) 量訓(xùn) 練數(shù) 據(jù) 集的基礎(chǔ) 上的，如PASCAL VOC、COCO、ParallelEye-CS、English Wikipedia、Corpus等。但隨著研究人員面對的系統(tǒng)復(fù)雜程度不斷提升，數(shù)據(jù)量爆炸式增長，純數(shù)據(jù)驅(qū)動的深度學(xué)習(xí)模型并不能按預(yù)期隨著數(shù)據(jù)量的增長而提升性能。此外，即便純數(shù)據(jù)驅(qū)動的深度學(xué)習(xí)模型可以在給定的數(shù)據(jù)集上出色地擬合結(jié)果，數(shù)據(jù)噪聲或觀測偏差等因素也會導(dǎo)致模型泛化性能較差，一些模型在實際應(yīng)用中并不具有實用性。因此，在數(shù)據(jù)驅(qū)動的框架外，需要額外引入專家知識指導(dǎo)深度學(xué)習(xí)模型進行學(xué)習(xí)，為模型提供“先驗/專家知識”，即在觀測數(shù)據(jù)的基礎(chǔ)上提供可靠的理論約束和歸納偏置（inductive bias）。在自然科學(xué)中，廣泛存在的數(shù)學(xué)、物理定律可被視為專家知識，這種基于物理定律或物理定律和數(shù)據(jù)雙驅(qū)動的學(xué)習(xí)方式被稱為物理知情機器學(xué)習(xí)（physics- informed machine learning），其典型網(wǎng)絡(luò)為物理知情神經(jīng)網(wǎng)絡(luò)（physics-informed neural network，PINN）。在20世紀，部分研究人員就開始嘗試基于神經(jīng)網(wǎng)絡(luò)或相關(guān)的機器學(xué)習(xí)方法求解（偏）微分方程，并取得了不錯的效果，如王飛躍等人將最佳格點集與最小二乘法結(jié)合，應(yīng)用于求解平板彎曲微分方程問題。Lagaris I E等人采用神經(jīng)網(wǎng)絡(luò)求解微分方程。但當時該領(lǐng)域并無統(tǒng)一的名稱，直至Raissi M等人提出PINN之后，才逐漸統(tǒng)一為物理知情機器學(xué)習(xí)。物理知情機器學(xué)習(xí)的出發(fā)點為借助相關(guān)物理定律或約束構(gòu)造可解釋的神經(jīng)網(wǎng)絡(luò)模型，在數(shù)據(jù)不完美（數(shù)據(jù)量小、存在噪聲或觀測偏差等）的情況下，仍保證模型的泛化性和有效性，且使模型的預(yù)測符合客觀物理約束。近年來，該交叉方向逐漸形成了一個新興領(lǐng)域“AI for Science（科學(xué)智能）”，旨在通過AI加速數(shù)學(xué)、物理、化學(xué)等基礎(chǔ)學(xué)科的研究。神經(jīng)信息處理系統(tǒng)進展大會（conference on neural information processing systems，NeurIPS）、國際機器學(xué)習(xí)大會（international conference on machine learning， ICML）等知名AI會議都舉行了AI for Science相關(guān)的研討會。

為了推進微分方程深度學(xué)習(xí)求解方法研究的進一步深入，本文對常用微分方程深度學(xué)習(xí)求解方法的國內(nèi)外研究進展進行簡要綜述，論述了求解微分方程深度學(xué)習(xí)方法的研究背景、方法和應(yīng)用。在總結(jié)和調(diào)研的基礎(chǔ)上，進一步給出了微分方程深度學(xué)習(xí)求解方法以及 AI 和科學(xué)發(fā)展進一步結(jié)合的可能方向，即科學(xué)智能大模型。

本文第 1 節(jié)描述了基于深度學(xué)習(xí)方法求解微分方程的基本問題；第2節(jié)對常用微分方程深度學(xué)習(xí)求解方法的國內(nèi)外研究進展進行簡要綜述；第3節(jié)介紹了常用微分方程深度學(xué)習(xí)求解方法的實際應(yīng)用；第4節(jié)在充分調(diào)研的基礎(chǔ)上提出了科學(xué)智能大模型——DeDAO；第5節(jié)進行了總結(jié)。

1 問題描述

本節(jié)采用數(shù)學(xué)的語言描述深度學(xué)習(xí)方法求解微分方程的問題。作為描述物理系統(tǒng)動態(tài)特性的重要數(shù)學(xué)工具之一，廣泛研究的二階微分方程可表示為式（1）～式（2）：

其中，

表示定義域。u(x)為未知解。?為微分算子，可以是ODE算子、PDE算子或者是IDE算子等。λ為方程中的參數(shù)。B(u,x)為邊界條件，如狄里克雷（Dirichlet）條件、諾依曼（Neumann）條件、洛平（Robin）條件或者一些周期邊界條件。

微分方程的求解問題是指，在有限信息條件下，尋找滿足式（1）與式（2）的解u與參數(shù)λ的組合。通常將微分方程的求解問題分為兩類：正問題和反問題。正問題是在參數(shù)λ和邊界條件已知的情況下，根據(jù)方程求出解析或者數(shù)值解，預(yù)測系統(tǒng)運動，產(chǎn)生觀測數(shù)據(jù)的過程。反問題是指參數(shù)λ未知，利用有限的觀測數(shù)據(jù)反推出最佳的參數(shù)λ。

由于偏微分方程具有較好的實用價值，大量的研究人員從事求解微分方程方法的相關(guān)研究工作。采用深度學(xué)習(xí)方法求解常微分方程和偏微分方程，近幾年受到了大量學(xué)者的關(guān)注。本文以拋物形方程為例，介紹這類求解方法的基本框架，其發(fā)展方程如式（3）所示：

其中，t∈[0,T]。該方程表示曲面沿其法線以與平均曲率成比例的速度運動的演化過程。采用深度神經(jīng)網(wǎng)絡(luò)來近似式（3）的解u(x,t)，并定義近似u(x,t)的神經(jīng)網(wǎng)絡(luò)為

，一個簡單的 3 層前饋神經(jīng)網(wǎng)絡(luò)（feed forward network，F(xiàn)NN）的表示形式如式（4）所示：

其中，

為神經(jīng)網(wǎng)絡(luò)權(quán)重矩陣，

為偏置向量，σ(·)為激活函數(shù)。進一步可得到偏微分方程的表示形式f(x,t)如式（5）所示：

可見 f(x,t)由物理方程和深度神經(jīng)網(wǎng)絡(luò)組合表示，參考文獻稱其為PINN。將初始和邊界條件看作軟約束處理，則可得到如式（6）所示的損失函數(shù)：

其中，MSE_u表達式如式（7）所示，MSE_f表達式如式（8）所示：

其中，

表示初始條件和邊界條件產(chǎn)生的訓(xùn)練數(shù)據(jù)，也可是從實際應(yīng)用中觀測得到的數(shù)值，可視為數(shù)據(jù)驅(qū)動的部分。

表示采樣數(shù)據(jù)，用于計算控制方程的殘差，可視為物理定律驅(qū)動的部分。

顯然，f(x,t)的真實值為 0，調(diào)整

的網(wǎng)絡(luò)參數(shù)以最小化 f(x,t)的殘差，同時滿足初始條件和邊界條件，能夠獲得方程解的一種可行的數(shù)據(jù)驅(qū)動估計。深度學(xué)習(xí)求解微分方程的基本框架如圖1所示。

圖1 深度學(xué)習(xí)求解微分方程基本框架

圖1中，DE表示微分方程，IC表示初值條件（initial condition），BC 表示邊界條件（boundary condition），CC表示約束條件（constraint condition）， δ為收斂精度。在訓(xùn)練中，可根據(jù)具體情況選擇合適條件進行訓(xùn)練，并非所有條件都必須采用。由圖1可看出，深度學(xué)習(xí)求解物理方程的方法將神經(jīng)網(wǎng)絡(luò)作為基本逼近單元，調(diào)整網(wǎng)絡(luò)參數(shù)以最小化原微分方程的殘差。得益于深度神經(jīng)網(wǎng)絡(luò)強大的函數(shù)逼近能力，該方法能夠進行無網(wǎng)格求解，得到封閉形式的解。網(wǎng)絡(luò)訓(xùn)練基于最優(yōu)化理論，反向傳播方法是最常用的方法。在訓(xùn)練過程中，通常需要計算誤差函數(shù)相對于網(wǎng)絡(luò)參數(shù)的梯度，采用自動微分技術(shù)將微分方程的微分形式融入神經(jīng)網(wǎng)絡(luò)訓(xùn)練流程。基于神經(jīng)網(wǎng)絡(luò)近似解構(gòu)造的微分方程 f(x,t)被稱為PINN。訓(xùn)練中，損失函數(shù)可被寫成兩部分的組合。第一部分由初始或邊界條件組成；第二部分由微分算子和方程表達式組成，根據(jù)正反問題需求，方程系數(shù)可以是已知的或者是待估計的。最后，訓(xùn)練網(wǎng)絡(luò)參數(shù)以滿足微分方程。在AI模型中嵌入物理方程，能夠加速訓(xùn)練，增強模型的泛化能力。

2 微分方程求解的深度學(xué)習(xí)方法

2.1 方法概述及分類

由于其強大的學(xué)習(xí)和函數(shù)近似能力，深度學(xué)習(xí)在很多應(yīng)用領(lǐng)域，如圖像處理和機器翻譯等，取得了顯著的成功。含多個隱藏層的多層前饋神經(jīng)網(wǎng)絡(luò)是可描述多種深度學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)，式（4）表示的3層前饋神經(jīng)網(wǎng)絡(luò)就是一種簡單的網(wǎng)絡(luò)結(jié)構(gòu)，其基本結(jié)構(gòu)被稱為感知機，它能夠?qū)斎脒M行線性和非線性變換。在過去的幾十年中，已經(jīng)發(fā)展了很多種不同的神經(jīng)網(wǎng)絡(luò)，如 CNN、RNN和Transformer等?；贔NN的深度學(xué)習(xí)方法足以解決大多數(shù)微分方程求解問題。將3層前饋神經(jīng)網(wǎng)絡(luò)推廣成一般形式，可得到一個L層深度FNN遞歸計算式如式（9）所示：

其中，

表示第 l 層神經(jīng)網(wǎng)絡(luò)的輸出，θ_l和 b_l為權(quán)重向量和偏置，σ_l(?)為第l層的激活函數(shù)。網(wǎng)絡(luò)規(guī)模需根據(jù)方程解的復(fù)雜性來選擇。

更復(fù)雜的深度學(xué)習(xí)網(wǎng)絡(luò)，已有相關(guān)研究者展開研究。參考文獻[27]提出了 ConvPDE-UQ 框架，采用卷積神經(jīng)網(wǎng)絡(luò)構(gòu)造方程的數(shù)值求解器，并建立了神經(jīng)網(wǎng)絡(luò)在不同域上近似PDE解的理論證明。Li Z J等人指出注意力機制能夠提供一種靈活的方式利用輸入中的隱藏模式，及查詢點和輸入之間的隱式關(guān)系，提出了一種基于注意力的數(shù)據(jù)驅(qū)動算子學(xué)習(xí)框架。

目前常見的微分計算方法主要有4種：手動求導(dǎo)、符號微分、數(shù)值微分及自動微分。在深度學(xué)習(xí)框架中，自動微分已經(jīng)成為標配。自動微分基于鏈式法則遞推的計算網(wǎng)絡(luò)輸出對參數(shù)的偏導(dǎo)數(shù)，在輸出變量維度較高、網(wǎng)絡(luò)層數(shù)較多、參數(shù)數(shù)量龐大時，計算效率更高，更加適合深度神經(jīng)網(wǎng)絡(luò)的大規(guī)模計算需求。除此之外，微分與卷積存在某些聯(lián)系，對此Dong B等人建立了卷積核/濾波器的微分階與微分算子的階之間的對應(yīng)關(guān)系?；诰矸e與微分的對應(yīng)關(guān)系，Long Z C等人采用可學(xué)習(xí)的卷積近似微分算子，用深度網(wǎng)絡(luò)表示偏微分方程，數(shù)據(jù)驅(qū)動地發(fā)現(xiàn)未知偏微分方程。

早期的AI方法主要采用數(shù)據(jù)驅(qū)動的方式，即通過學(xué)習(xí)“標簽數(shù)據(jù)”來訓(xùn)練神經(jīng)網(wǎng)絡(luò)以表征物理系統(tǒng)輸出的解。網(wǎng)絡(luò)的輸入可以是參數(shù)、空間、時間等，可根據(jù)需要選擇。然而，對于一些工業(yè)系統(tǒng)，如油田和電力行業(yè)，盡管有許多運行數(shù)據(jù)，但可用于復(fù)雜物理系統(tǒng)建模的實驗數(shù)據(jù)量是有限的。其中唯一可用的數(shù)據(jù)是邊界條件和初始條件，而具體的控制偏微分方程和相關(guān)參數(shù)是可用或者可估計的。對此，圖2 描繪了實際研究中可能面臨的部分情況。易于產(chǎn)生大數(shù)據(jù)的系統(tǒng)，如自然語言、繪畫藝術(shù)等，存在少量的物理規(guī)律，基于數(shù)據(jù)驅(qū)動尋找其內(nèi)在規(guī)律，是當前最有效的手段之一。對于物理知識豐富，而數(shù)據(jù)信息較少的情況，僅有初始條件和邊界條件以及部分系數(shù)的數(shù)據(jù)，基于物理定律的分析和預(yù)測是唯一的途徑。現(xiàn)實中還存在一種中間情況，即有部分數(shù)據(jù)和一些物理知識，基于物理知情機器學(xué)習(xí)方法整合數(shù)據(jù)和物理定律，彌補觀測能力的不足和物理模型的缺失。綜上，根據(jù)面對數(shù)據(jù)種類和數(shù)量的不同，求解偏微分方程的深度學(xué)習(xí)方法可以劃分為數(shù)據(jù)驅(qū)動和物理知情兩種方法。

圖2 數(shù)據(jù)和物理信息量不同的3種情形

2.2 數(shù)據(jù)驅(qū)動求解方法

不同于基于網(wǎng)格的求解方法，基于深度學(xué)習(xí)的數(shù)據(jù)驅(qū)動求解方法是用神經(jīng)網(wǎng)絡(luò)近似求解高維微分方程，而不是基函數(shù)的線性組合。尋求未知微分方程或其算子的函數(shù)近似結(jié)構(gòu)表示，通過學(xué)習(xí)相關(guān)數(shù)據(jù)找出背后蘊藏的微分方程模型，進而預(yù)測系統(tǒng)動力學(xué)特性。近年來，基于深度學(xué)習(xí)方法設(shè)計微分方程的數(shù)據(jù)驅(qū)動求解方法受到了大量關(guān)注。其中神經(jīng)網(wǎng)絡(luò)算子是當前學(xué)術(shù)界的研究熱點之一，其設(shè)計的思想是期望采用神經(jīng)網(wǎng)絡(luò)表示各種顯式與隱式算子，學(xué)習(xí)函數(shù)到泛函的映射能力，而不是表示傳統(tǒng)意義上的函數(shù)，即變量到變量的映射關(guān)系，進而實現(xiàn)在輸入空間上任意取一點，網(wǎng)絡(luò)都可以返回相應(yīng)的函數(shù)值。

針對PDE算子的近似問題，研究者期望神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的解算子是一個以函數(shù)為輸入，以函數(shù)為輸出的函數(shù)。采用神經(jīng)網(wǎng)絡(luò)逼近算子，有以下一般近似定理。假設(shè)φ是一個連續(xù)的非多項式函數(shù)， X表示一個巴拿赫空間，K₁、K₂為兩個緊集，且有K₁?X，

，V為C(K₁)中的緊集，G為一個非線性連續(xù)算子表示，表示從V到C（K₁）的映射。接下來，對于ε＞0，有正整數(shù)p、q與r，常數(shù)

，則有式（10）：

對所有

和

都成立。該定理表明對于任意的非線性連續(xù)算子，總存在包含兩個子網(wǎng)絡(luò)的算子網(wǎng)絡(luò)，其中分支網(wǎng)絡(luò)用于編碼輸入函數(shù)，主干網(wǎng)絡(luò)用于編碼輸出函數(shù)在特定位置上的值。因此，對于任意的非線性連續(xù)算子，總能找到滿足式（10）的神經(jīng)網(wǎng)絡(luò)形式無限逼近?；诜蔷€性算子的神經(jīng)網(wǎng)絡(luò)近似理論，Lu L等人采用兩個深度神經(jīng)網(wǎng)絡(luò)分別編碼離散的輸入函數(shù)空間和輸出函數(shù)域，提出了一種具有較小泛化誤差的深度算子網(wǎng)絡(luò)：DeepONet，并給出了該網(wǎng)絡(luò)能夠基于數(shù)據(jù)有效近似各種顯式算子、各種確定和隨機微分方程隱式算子的數(shù)學(xué)證明。神經(jīng)算子的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計，基于神經(jīng)網(wǎng)絡(luò)關(guān)于算子的一般近似定理，能夠以自監(jiān)督的方式有效地學(xué)習(xí)微分方程的解算子。

隨著微分方程維度的增長，高維微分方程的求解變得異常困難。采用深度學(xué)習(xí)，以數(shù)據(jù)驅(qū)動的方式實現(xiàn)高維微分方程的數(shù)值計算，同樣受到了大量的關(guān)注。針對高維問題，Han J等人設(shè)計了基于深度學(xué)習(xí)的高維拋物形偏微分方程求解方法，該方法類似于深度強化學(xué)習(xí)，將梯度作為策略函數(shù)，用神經(jīng)網(wǎng)絡(luò)逼近未知解的梯度。參考文獻探索伽遼金方法（Galerkin method）和機器學(xué)習(xí)相結(jié)合的高維微分方程無網(wǎng)格求解方法，并稱該方法為“深度伽遼金方法（deep Galerkin method，DGM）”，同時該文指出隨著隱藏層數(shù)的增加，深度網(wǎng)絡(luò)能更精確地收斂于偏微分方程的解。利用網(wǎng)格方法求解高維PDE幾乎不具備可行性，而深度學(xué)習(xí)方法能夠通過隨機采樣的方式，將PDE問題轉(zhuǎn)化為機器學(xué)習(xí)問題，避免了網(wǎng)格計算，利用隨機梯度下降等方法，在隨機采樣的空間點上訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)滿足微分算子、初始條件和邊界條件。因此，在處理高維微分方程時，基于深度學(xué)習(xí)的微分方程求解方法，比傳統(tǒng)方法更具有優(yōu)勢。

為了解決時變微分方程的參數(shù)估計問題，參考文獻將測量數(shù)據(jù)作為節(jié)點值，給出了一種未知時變偏微分方程的深度神經(jīng)網(wǎng)絡(luò)建模框架。參考文獻采用受限卷積核表示微分算子，將二維受限卷積核推廣到三維受限卷積核，提出了三維偏微分方程智能求解方法。Long Z C等人基于卷積核逼近微分算子的方法，提出了PDE-Net 2.0，從觀察數(shù)據(jù)中學(xué)習(xí)時間相關(guān)PDE的未知參數(shù)，數(shù)值仿真結(jié)果表明該方法只需少量假設(shè)和先驗知識，即可具備高精度的長期預(yù)測能力。綜上，基于深度學(xué)習(xí)的數(shù)據(jù)驅(qū)動微分方程求解方法，核心思想是在物理空間中進行數(shù)據(jù)驅(qū)動學(xué)習(xí)和建模，實現(xiàn)方程及其中各項微分算子的智能表示形式，進而得到方程的近似解。

2.3 物理知情求解方法

如前所述，純數(shù)據(jù)驅(qū)動的深度學(xué)習(xí)模型不能隨著數(shù)據(jù)量的增長而提升性能，且泛化性能不能得到保證。因此，在機器學(xué)習(xí)中引入物理定律作為“知識/先驗經(jīng)驗”的物理知情機器學(xué)習(xí)受到了廣泛關(guān)注。

物理知情求解方法的基石工作為參考文獻，但類似思想的相關(guān)工作在20世紀末已有學(xué)者研究。王飛躍等人利用數(shù)論近似分析中的最佳格點集為最小二乘法提供一種簡潔、公式化的布點格式，并應(yīng)用于求解平板彎曲問題，取得了令人滿意的效果。Meade A J等人利用神經(jīng)網(wǎng)絡(luò)求解OED，將分段線性映射作為激活函數(shù)，將L2范數(shù)作為網(wǎng)絡(luò)近似誤差，證明網(wǎng)絡(luò)逼近誤差范數(shù)隨隱藏層神經(jīng)元數(shù)量的增加而單調(diào)遞減。Van Milligen B P等人利用單層神經(jīng)網(wǎng)絡(luò)求解PDE，該方法較為簡單，且無須使用有限差分和坐標變換。Lagaris I E等人將微分方程的解寫成兩部分：第一部分滿足初始/邊界條件，不包含可調(diào)參數(shù)；第二部分的構(gòu)造不影響初始/邊界條件，并涉及一個包含可調(diào)參數(shù)的 FNN。Mai-Duy N等人采用徑向基函數(shù)（radial basis function，RBF）和區(qū)域分解法（domain decomposition method）設(shè)計了無網(wǎng)格的數(shù)值求解方法，并在泊松方程上實現(xiàn)了高精度的求解。Reynaldi A等人將有限元法和神經(jīng)網(wǎng)絡(luò)結(jié)合，采用反向傳播算法求解正問題，采用Levenberg-Marquardt算法求解逆問題，且該方法中的計算均不涉及矩陣求逆。

回到近些年的工作，參考文獻[22]提出PINN，引起了科研界和工業(yè)界的廣泛關(guān)注。之后DeepMind提出的AlphaFold 2成功預(yù)測了2億多種蛋白質(zhì)結(jié)構(gòu)，喚起了研究者利用AI加速科學(xué)研究的熱情，催生了“AI for Science”。在參考文獻中，網(wǎng)絡(luò)訓(xùn)練的損失函數(shù)由兩部分構(gòu)成：PDE的控制方程、初始/邊界條件和網(wǎng)絡(luò)實際輸出之差。前者可視為物理定律驅(qū)動，后者可視為數(shù)據(jù)驅(qū)動。這種使用客觀物理方程作為損失函數(shù)的設(shè)計理念有效地規(guī)范了訓(xùn)練過程中的優(yōu)化。實際上，若中間數(shù)據(jù)帶有標簽，同樣可融入網(wǎng)絡(luò)損失函數(shù)直接進行監(jiān)督學(xué)習(xí)。PINN 將初始/邊界條件均融入網(wǎng)絡(luò)訓(xùn)練，但并不一定嚴格精確地滿足，可視為一種“軟約束”。為了進一步提升高維微分方程的求解精度，Bar-Sinai Y 等人嘗試設(shè)計方程在網(wǎng)格尺度下逼近其動力學(xué)特性，其基本思想為將 PINN 和有限差分法結(jié)合，用 PINN代替多項式函數(shù)，該方法稱為數(shù)據(jù)驅(qū)動離散化（data-driven discretization），可視為離散版的PINN。類似地，Pang G F等人采用時間離散化技術(shù)提出了fPINN（fractional PINN），用于求解時間分數(shù)階偏微分方程。Gao H 等人提出了物理知情的總卷積神經(jīng)網(wǎng)絡(luò)：PhyGeoNet，用于在不規(guī)則域上求解無標注數(shù)據(jù)的偏微分方程，該方法引入一個橢圓映射將不規(guī)則物理域轉(zhuǎn)換為規(guī)則參考域，使非矩形幾何形狀和非均勻網(wǎng)格可直接使用CNN。Zhu Y H等人將微分方程控制方程融入損失函數(shù)，得到了物理約束的 CNN 模型，在無數(shù)據(jù)標簽的情況下通過K-L散度（Kullback-Leibler divergence）進行訓(xùn)練。Sun L N等人提出了一種物理約束的深度學(xué)習(xí)方法用于流體建模，該方法通過結(jié)構(gòu)化的網(wǎng)絡(luò)設(shè)計使初始/邊界條件嚴格滿足，且無須仿真數(shù)據(jù)。與參考文獻[22]的方法相比，參考文獻[47]的方法可視為“硬約束”。Meng X H等人針對長時問題設(shè)計了PPINN（parareal PINN），PPINN將長時問題分解為多個短時問題，并采用粗粒度（coarse-grained）的求解器進行監(jiān)督，取得了不錯的效果。Yang L等人提出了 B-PINN（Bayesian PINN）以解決存在噪聲數(shù)據(jù)時偏微分方程的正和逆問題，其中PDE的PINN和貝葉斯網(wǎng)絡(luò)用作先驗估計，哈密頓蒙特卡羅（Hamiltonian Monte Carlo）或變分推理（variational inference）用作后驗估計。Wang Y Z等人提出了DSP-PIGAN求解偏微分方程，該方法受啟發(fā)于生成對抗網(wǎng)絡(luò)（generative adversarial network，GAN），包括生成器、PINN后處理模塊和判別器，其基本思想為使用判別器判定輸入是 PINN 后處理模塊還是微分方程實際值，當判別器無法判定真?zhèn)螘r，則認為生成器和 PINN 后處理模塊訓(xùn)練完成?；贒eepONets，Wang S等人進一步提出了物理知情的深度算子網(wǎng)絡(luò)（physics-informed DeepONets），利用物理方程、邊界條件等信息作為網(wǎng)絡(luò)參數(shù)學(xué)習(xí)的約束，實現(xiàn)無任何配對輸入輸出訓(xùn)練數(shù)據(jù)情況下的高精度求解。值的指出的是，目前大部分物理知情求解方法均采用單網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)的各階時間偏導(dǎo)數(shù)和空間偏導(dǎo)數(shù)利用 PyTorch和 Tensorflow中的自動微分技術(shù)處理獲得，參考文獻為了減少對自動微分的依賴及計算冗余，提出了多網(wǎng)絡(luò)的物理知情機器學(xué)習(xí)，其每個網(wǎng)絡(luò)分別用于近似未知解函數(shù)及其各階時間偏導(dǎo)數(shù)和空間偏導(dǎo)數(shù)，且互相獨立。Han J H等人基于采樣布朗運動，針對擬線性橢圓形偏微分方程提出了一種深度學(xué)習(xí)數(shù)值方法，該方法先重構(gòu)偏微分方程再利用神經(jīng)網(wǎng)絡(luò)近似解的梯度，因此無須顯式地計算神經(jīng)網(wǎng)絡(luò)對輸入變量的導(dǎo)數(shù)。

3 應(yīng)用案例

近些年，已有國內(nèi)外學(xué)者致力于嘗試深度學(xué)習(xí)方法來求解工程應(yīng)用中出現(xiàn)的復(fù)雜微分方程，并取得了相當豐富的成果。

首先是工業(yè)領(lǐng)域。參考文獻開展了深度算子網(wǎng)絡(luò)在光熱發(fā)電系統(tǒng)中的應(yīng)用研究，使用預(yù)測值的歷史數(shù)據(jù)替換主干網(wǎng)絡(luò)中的時間坐標，提出了一種數(shù)據(jù)驅(qū)動的機器學(xué)習(xí)建模框架，案例分析表明，該方法能夠以更低的計算成本實現(xiàn)對光熱發(fā)電系統(tǒng)狀態(tài)的高精度預(yù)測。Franklin T S等人采用物理知情神經(jīng)網(wǎng)絡(luò)構(gòu)造的虛擬傳感器取代油井系統(tǒng)中的傳統(tǒng)傳感器，能夠結(jié)合系統(tǒng)動力學(xué)相關(guān)的先驗知識，訓(xùn)練長短期記憶（long short term memory，LSTM）神經(jīng)網(wǎng)絡(luò)，而不需要測量所有狀態(tài)。Shi H J等人提出了一個端到端深度學(xué)習(xí)框架，同時學(xué)習(xí)庫普曼（Koopman）內(nèi)嵌函數(shù)和庫普曼算子，以解決非線性系統(tǒng)庫普曼函數(shù)的設(shè)計困難。參考文獻采用深度神經(jīng)網(wǎng)絡(luò)修正Verruijt-Booker解的圍巖位移因子，以建立地表沉降與隧道開挖面空間位置的關(guān)聯(lián)，通過構(gòu)建數(shù)據(jù)-物理定律雙驅(qū)動的PINN模型，實現(xiàn)深度網(wǎng)絡(luò)在滿足物理機理約束的空間中進行訓(xùn)練，緩解了地表沉降預(yù)測中對訓(xùn)練樣本需求量較大的問題，實際應(yīng)用結(jié)果表明，該策略能夠提升模型的泛化性能。萬鵬等人提出了一種基于元學(xué)習(xí)（meta learning）和PINN的刀具磨損預(yù)測方法，首先建立基于PINN的刀具磨損融合預(yù)測模型，然后采用元學(xué)習(xí)方法優(yōu)化刀具磨損融合預(yù)測模型的損失函數(shù)，提高模型的魯棒性，實驗結(jié)果表明，該方法能夠獲得一個快速適應(yīng)新工況的預(yù)測模型，在變工況條件下刀具磨損預(yù)測精度更加穩(wěn)定。鄭素佩等人提出了基于黏性耗散機制的正則化物理知情神經(jīng)網(wǎng)絡(luò)，將考慮黏性正則化的淺水波方程作為網(wǎng)絡(luò)構(gòu)建中的物理約束，訓(xùn)練深度網(wǎng)絡(luò)用正則化方程的光滑解逼近原方程的間斷解，并對滿足不同初始條件的一維、二維淺水問題進行數(shù)值模擬，數(shù)值結(jié)果表明算法泛化能力強、可預(yù)測任意時刻的解、分辨率高、不會出現(xiàn)抹平和偽振蕩現(xiàn)象。Goswami S等人研究基于相場法的脆性斷裂預(yù)測問題，不同于其他PINN算法最小化控制方程的殘差，將系統(tǒng)的變分能量作為損失函數(shù)，修改神經(jīng)網(wǎng)絡(luò)輸出，使損失函數(shù)中不存在邊界條件損失分量，從而使網(wǎng)絡(luò)能夠完全滿足邊界條件。Zhang E R等人采用深度神經(jīng)網(wǎng)絡(luò)分別近似正向問題的解和未知材料參數(shù)，通過深度學(xué)習(xí)方法構(gòu)造物理知情深度神經(jīng)網(wǎng)絡(luò)，求解非均勻材料的辨識問題。

SDE和柯爾莫哥洛夫（Kolmogorov）偏微分方程能夠描述經(jīng)濟系統(tǒng)的動態(tài)變化，被廣泛應(yīng)用于金融系統(tǒng)的建模中，然而大多數(shù)柯爾莫哥洛夫偏微分方程的近似方法都會遇到維數(shù)災(zāi)難的問題，或者只能在單個固定時空點上實現(xiàn)偏微分方程解的近似。為了克服上述兩個困難，Beck C等人將柯爾莫哥洛夫偏微分方程求解問題轉(zhuǎn)化為無限維隨機優(yōu)化問題，通過全連接深度神經(jīng)網(wǎng)絡(luò)近似時空離散化后的方程，進而提出了求解柯爾莫哥洛夫偏微分方程的深度學(xué)習(xí)方法，并通過數(shù)值仿真驗證了采用深度學(xué)習(xí)方法求解該類微分方程的可行性。Glau K等人研究深度學(xué)習(xí)求解PDE方法在期權(quán)定價中的應(yīng)用，采用無監(jiān)督的方式訓(xùn)練深度，因而無須在解空間采樣，所提出的深度參數(shù)偏微分方程方法（deep parametric PDE method）分為離線和在線兩個階段，離線階段對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，在線階段進行狀態(tài)、參數(shù)值和靈敏度的評估。

在其他科學(xué)領(lǐng)域，復(fù)雜微分方程的求解同樣取得了大量的成果。參考文獻利用 PINN 分析了2020年新冠疫情的傳播情況，并做出了以周為單位的短期預(yù)測，為疫情防控提供了科學(xué)分析基礎(chǔ)。Grimm V等人同樣基于PINN分析了新冠疫情的感染率，所采用的方法以經(jīng)典的 SIR（susceptibleinfected-removed）和 SEIR（susceptible-exposedinfected-removed）模型為基礎(chǔ)。Cavanagh H等人利用 PINN 表示了亞洲大豆銹病的形態(tài)動力學(xué)特性，基于PINN以圖像描述細胞-藥物相互作用的形狀變化（形態(tài)動力學(xué)），將PINN擴展到多模態(tài)數(shù)據(jù)的應(yīng)用中。參考文獻基于物理知情機器學(xué)習(xí)提出了預(yù)測海洋環(huán)境中局部懸浮泥沙濃度的統(tǒng)計學(xué)習(xí)框架，可實現(xiàn)6 h內(nèi)的高精度預(yù)測，評價相對誤差為5.80%～9.44%。Gross M R等人開發(fā)了物理知情的機器學(xué)習(xí)自動工作流程用于預(yù)測裂縫馬塞勒斯頁巖儲層的產(chǎn)量，該工作流程將快速降階模型（reduced order model）與高保真油藏模型相結(jié)合，以匹配生產(chǎn)歷史，并根據(jù)壓力管理提供生產(chǎn)的實時預(yù)測。Kashinath K等人將物理知情機器學(xué)習(xí)應(yīng)用于天氣預(yù)測，通過10個案例研究和分析展示了該方法如何成功用于模擬和預(yù)測天氣過程。Pombo D V等人探討了基于堆疊機器學(xué)習(xí)的模型的實用性，使用物理知情機器學(xué)習(xí)方法預(yù)測同一地點潛在的風(fēng)能和太陽能。參考文獻使用物理信息機器學(xué)習(xí)模型評估臺風(fēng)期間洪水預(yù)報中輸入特征的有效空間特征。Bukhari A H 等人針對巴基斯坦拉合爾市，通過基于分數(shù)階洛倫茲（Lorenz）的物理知情混合計算范式 SARFIMANARX，預(yù)測未來兩天內(nèi)每小時的 PM2.5 濃度值和空氣質(zhì)量。Rice J L等人設(shè)計了基于物理知情機器學(xué)習(xí)的 Koopman 方法以預(yù)測長期的海面溫度。

綜上，微分方程深度學(xué)習(xí)求解方法在實際應(yīng)用中的研究已經(jīng)展開。同時需注意的是，實際應(yīng)用中多模態(tài)數(shù)據(jù)的引入為求解微分方程提供了大量值得挖掘的信息，但也給微分方程深度學(xué)習(xí)求解方法的實際應(yīng)用帶來了不小的挑戰(zhàn)。同時，客觀物理事物、參與其中的人、探索和改進這些客觀事物和人類復(fù)雜系統(tǒng)的研究人員是一個有機的整體，不應(yīng)忽略某些要素，或?qū)⑵渲械囊馗盍验_分析，尤其是其中難以預(yù)測的復(fù)雜社會和人的因素，應(yīng)予以充分考慮。

4 邁向科學(xué)智能大模型：DeDAO

基于上述調(diào)研，本文認為微分方程的深度學(xué)習(xí)求解及科學(xué)智能的未來研究將圍繞以下 5 個問題開展。

（1）復(fù)雜高維微分方程（動力學(xué)系統(tǒng)）求解及預(yù)測。盡管相關(guān)深度方法在一些典型微分方程求解問題上取得了令人滿意的效果，但面對高維復(fù)雜問題，尚無廣泛認可的方法。參考文獻[33,44]嘗試基于時間、數(shù)據(jù)離散的方法分段逼近，以求解高維偏微分方程。但理論限制較多，且處理的數(shù)據(jù)相對單一。隨著應(yīng)用需求的增大，這一問題將日益凸顯。

（2）求解/預(yù)測精度和訓(xùn)練效率的提升。由于深度學(xué)習(xí)方法采用非線性函數(shù)近似的數(shù)值方法，而非解析方法，理論和實際應(yīng)用中，網(wǎng)絡(luò)的近似誤差總是存在。因此降低近似誤差以符合不同的應(yīng)用場景始終是研究的重點。提升網(wǎng)絡(luò)復(fù)雜度是一條可行的思路，但隨著網(wǎng)絡(luò)復(fù)雜程度的提升，訓(xùn)練的時間和空間復(fù)雜度也隨之提升，且過于龐大的神經(jīng)網(wǎng)絡(luò)在實際應(yīng)用中并不現(xiàn)實。

（3）神經(jīng)網(wǎng)絡(luò)近似解的泛化性。在給定定義域上，當訓(xùn)練數(shù)據(jù)分布合理且量足夠的時候，通過適當?shù)脑O(shè)計和訓(xùn)練，神經(jīng)網(wǎng)絡(luò)具有良好的擬合效果。但在給定數(shù)據(jù)集之外，神經(jīng)網(wǎng)絡(luò)的表現(xiàn)往往難以符合預(yù)期。在某些情況下，網(wǎng)絡(luò)訓(xùn)練集上表現(xiàn)很好，而測試集上表現(xiàn)不如人意，該現(xiàn)象稱為“過擬合”。泛化性是神經(jīng)網(wǎng)絡(luò)應(yīng)用研究的重點。提升網(wǎng)絡(luò)復(fù)雜度和提升數(shù)據(jù)覆蓋面是有效的方法，但同樣會帶來巨大的計算量。若每個任務(wù)都訓(xùn)練一個龐大的網(wǎng)絡(luò)，顯然會造成冗余。

（4）應(yīng)用中多模態(tài)數(shù)據(jù)的引入。隨著微分方程深度學(xué)習(xí)求解方法的潛力不斷被挖掘，將其應(yīng)用在復(fù)雜實際系統(tǒng)中或探索更為復(fù)雜的科學(xué)問題自然是下一步的研究重點。不同于一般微分方程的求解所處理的數(shù)值數(shù)據(jù)，實際應(yīng)用中面臨的情況將更為復(fù)雜，通常需面對圖像、視頻、自然語言等多模態(tài)數(shù)據(jù)。參考文獻嘗試基于圖像描述細胞-藥物相互作用的形態(tài)動力學(xué)，是該類方法邁向?qū)嶋H應(yīng)用的初步探討。然而如何從更宏觀的角度設(shè)計多模態(tài)數(shù)據(jù)的處理方法，并加速相關(guān)方法的實際應(yīng)用，仍懸而未決。

（5）實際應(yīng)用中復(fù)雜社會因素的融入。在微分方程求解及其他科學(xué)問題的理論研究和實際應(yīng)用中，參與、探索和解決這些科學(xué)問題的人是不可忽略的社會因素。因此，如何對人的行為進行表示，將人的影響和評價考慮到微分方程中，也是值得研究的問題。但現(xiàn)有分析方法和框架通常忽略社會因素，阻礙了這些方法的進一步發(fā)展。因此，亟須建立一套完備的理論框架去探索、分析復(fù)雜系統(tǒng)中的社會因素，并將這些因素有效地融入解決方案。

盡管研究人員針對上述問題已有初步工作，但建立新的研究范式全面覆蓋上述問題，且達到令人滿意的效果，仍是一個具有挑戰(zhàn)性的難題。

利用深度學(xué)習(xí)求解微分方程（或預(yù)測動力學(xué)系統(tǒng)）本質(zhì)上是利用神經(jīng)網(wǎng)絡(luò)的非線性函數(shù)近似能力逼近微分方程的解。在一般偏微分方程中，其解析解可由多種函數(shù)形式構(gòu)成，如冪函數(shù)、指數(shù)函數(shù)、對數(shù)函數(shù)等，可將其視為伽遼金方法中的基函數(shù)。因此，不同參數(shù)下同一微分方程（或不同微分方程）的解可由相同基函數(shù)及不同參數(shù)（或不同基函數(shù)及不同參數(shù)）構(gòu)成。所以在實際研究中，每次針對一個微分方程訓(xùn)練一個網(wǎng)絡(luò)，無疑是耗費時間且不必要的工作。同時，在實際應(yīng)用中，隨著深度學(xué)習(xí)模型復(fù)雜程度的提升，模型性能和泛化性也隨之提升，此外特定應(yīng)用場景下物理系統(tǒng)的控制方程相似，因此構(gòu)建超大神經(jīng)網(wǎng)絡(luò)模型求解復(fù)雜動力系統(tǒng)微分方程是一條有效的途徑。為此，本節(jié)提出邁向科學(xué)智能大模型——DeDAO（微分之道）(道（DAO）取自道德經(jīng)“道生一，一生二，二生三，三生萬物”。)。DeDAO的目的是通過海量的微分方程數(shù)據(jù)學(xué)習(xí)微分方程背后的數(shù)學(xué)本質(zhì)，如解中的“基函數(shù)”、微分算子等，當其應(yīng)用于具體微分方程時，DeDAO 基于遷移學(xué)習(xí)的方式通過少量的具體微分方程數(shù)據(jù)即可迅速求得高精度的解。同時引入多任務(wù)、多模態(tài)任務(wù)和復(fù)雜社會因素，加強DeDAO解決多種科學(xué)問題的綜合能力。DeDAO將客觀物理事物、參與其中的人、探索相關(guān)事物的研究人員視為一個有機的整體，將構(gòu)成復(fù)雜系統(tǒng)的各要素有機統(tǒng)一地結(jié)合起來，充分考慮其中難以預(yù)測的復(fù)雜社會和人的因素，嘗試基于物理信息社會系統(tǒng)（cyber-physical-social systems，CPSS）處理科學(xué)問題。

4.1 支撐技術(shù)

在正式引入DeDAO前，首先給出相關(guān)支撐技術(shù)的介紹，包括：平行智能和大模型。

4.1.1 平行智能

大模型的訓(xùn)練離不開海量的數(shù)據(jù)，DeDAO也不例外。DeDAO的實現(xiàn)需要一種有效生成數(shù)據(jù)并合理訓(xùn)練的方法。此外，訓(xùn)練DeDAO還需大量的物理知識提供支持。在實際系統(tǒng)中，基于物理定律建立其物理方程的工作有相當大的難度，需要專業(yè)人士才能完成。因此，實現(xiàn)DeDAO迫切需要一套能夠集成物理與數(shù)據(jù)、虛擬與現(xiàn)實的復(fù)雜系統(tǒng)智能理論框架。在眾多理論框架中，平行智能建立于平行系統(tǒng)理論，是處理該問題最為行之有效的方法。平行智能框架來源于 CPSS 智能管理與控制的研究，該框架下物理系統(tǒng)與虛擬系統(tǒng)不斷交互、相互學(xué)習(xí)，不以簡單的相互模仿為目的，而是以共同進化為最終目標，非常契合物理方程大模型的訓(xùn)練與應(yīng)用方式。平行系統(tǒng)理論，由王飛躍教授提出，可以追溯到影子系統(tǒng)（shadow systems）。平行系統(tǒng)理論也被稱為ACP理論，其包括：人工系統(tǒng)（artificial systems）、計算實驗（computational experiments）以及平行執(zhí)行（parallel execution）。人工系統(tǒng)被用來模擬現(xiàn)實世界，也被稱為人工社會（artificial society）。在計算實驗中，可以采用多種智能方法處理復(fù)雜的系統(tǒng)。通過平行執(zhí)行，分析來自實際和人工系統(tǒng)的反饋，以進一步提高復(fù)雜系統(tǒng)的建模、管理和控制的性能。平行系統(tǒng)的基本框架如圖3所示。

圖3 平行系統(tǒng)的基本框架

4.1.2 大模型

近年來，大模型在自然語言處理方面的成功受到了廣泛的關(guān)注，大模型因其泛化能力強、能夠快速遷移完成下游任務(wù)等優(yōu)勢，得到了科研界、工業(yè)界與市場的廣泛認可。Devlin J等人提出了自然語言處理大模型：BERT，并在11個不同的自然語言測試中取得了當時最好的性能，這也同時開啟了AI大模型時代。Brown T等人提出了GPT系列表現(xiàn)最好的模型：GPT-3，GPT-3有1 750億個參數(shù)，且具有更好的通用性。Radford A等人提出了一個大規(guī)模視覺-語言預(yù)訓(xùn)練模型：CLIP，該模型采用對比學(xué)習(xí)進行訓(xùn)練，即通過在預(yù)訓(xùn)練的任務(wù)中預(yù)測圖像和文本是否匹配，CLIP可以適應(yīng)各種圖像和語言的下游任務(wù)。Alayrac J B等人針對小樣本問題提出了一個視覺-語言模型：Flamingo，并超過了其他相關(guān)的大模型。Su B等人將大模型引入生物領(lǐng)域，提出了一個多模態(tài)分析大模型，建立了分子圖和自然語言描述之間的關(guān)系。Xie Z D等人提出了基于遮蔽圖像建模（masked image modeling）的圖像大模型：SimMM，該模型可減少部分計算量。大模型的理論與應(yīng)用已成為人工智能領(lǐng)域的研究熱點，更多大模型的介紹見參考文獻。

4.2 DeDAO

DeDAO采用平行系統(tǒng)理論，其基本框架如圖4所示。DeDAO 括 3 個部分：人工社會、計算實驗和平行執(zhí)行。

圖4 DeDAO的基本框架

人工社會：人工社會是物理社會的虛擬擴展，以微分方程求解為例，人工社會基于物理定律和數(shù)據(jù)驅(qū)動等方法構(gòu)建多尺度、多維度的虛擬人工系統(tǒng)，如不同參數(shù)的微分方程、社會和工業(yè)中的動力學(xué)系統(tǒng)，彌補實際方程或數(shù)據(jù)不足的缺點，同時為仿真和計算實驗提供基本條件。

計算實驗：計算實驗提供計算實驗平臺，為DeDAO 的訓(xùn)練和長期優(yōu)化打下夯實基礎(chǔ)，其中數(shù)據(jù)處理、模型訓(xùn)練均在計算實驗中完成。

平行執(zhí)行：通過平行執(zhí)行獲得人工和實際系統(tǒng)的運行結(jié)果，并進一步反饋優(yōu)化計算實驗。

同時，基于CPSS框架，DeDAO可有效處理科學(xué)理論研究和實際應(yīng)用中的社會要素，包括參與具體活動的人及探索和改進這些活動的人。這些人又可劃分為：探索科學(xué)問題和從事實際應(yīng)用的自然人（生物意義上的自然人，biological human）、協(xié)助探索科學(xué)問題和實際應(yīng)用的機器人（robot）以及協(xié)助探索科學(xué)問題和實際應(yīng)用的數(shù)字人（digital human）。自然人根據(jù)實際情況和需求提出問題并尋求答案；機器人主要協(xié)助自然人在物理世界完成繁雜的任務(wù)，減輕自然人的體力勞動，其主要活動范圍為物理社會；數(shù)字人的主要任務(wù)為降低實際物理實驗的昂貴成本、突破物理世界嚴苛的約束、為自然人的探索提供更為廣闊的想象空間，為獲得更為適合的解決方案打下基礎(chǔ)，其主要活動范圍為人工社會。3 類人基于 DAO（全中心化自主組織及全中心化自主運行）框架進行通信、組織和協(xié)調(diào)，其基本框架如圖5 所示。對于一個具體的科學(xué)問題，該框架主要包括：問題和需求提出層、問題求解層、求解驗證層及應(yīng)用層。自然人主要活動于問題和需求提出層，也出現(xiàn)在驗證層和應(yīng)用層，其借助Web 3.0、區(qū)塊鏈、邊緣計算等智能技術(shù)與其他自然人、機器人和數(shù)字人實時加密通信，再協(xié)同完成工作；各層的自然人、機器人和數(shù)字人根據(jù)各層具體任務(wù)分工合作，并根據(jù)下一層反饋信息優(yōu)化其工作。因此，該框架不僅包含層內(nèi)的組織和協(xié)調(diào)，同時覆蓋了層與層之間的組織和協(xié)調(diào)，各層的“人”完成所分配的工作即達成該層任務(wù)，每層工作均達成即實現(xiàn)自然人提出的總體目標，“人”與“人”之間的工作獨立而又互補。故該工作框架具有典型分布式、去中心化、自主性、自動化、組織化與有序性的特征。以求解微分方程為例，在問題和需求提出層，自然人根據(jù)物理社會的現(xiàn)象和需求提出求解微分方程的問題和客觀約束，問題和約束傳遞至數(shù)字人和機器人。在自然人的指導(dǎo)和協(xié)助下，數(shù)字人和機器人借助大模型提供的智能源泉，完成求解、驗證和應(yīng)用等任務(wù)。其中層與層之間緊密耦合，每層的工作結(jié)果都是下層的起點，同時每層都為上層提供反饋信息，構(gòu)成了一個包含社會因素的復(fù)雜大閉環(huán)系統(tǒng)。

圖5 自然人、機器人和數(shù)字人通信、組織和協(xié)調(diào)框架

DeDAO的大平臺基于DAO框架，采用云邊協(xié)同架構(gòu)，分為硬件平臺和軟件平臺兩個部分。硬件平臺中的數(shù)據(jù)庫連接各種傳感器，存儲多模態(tài)數(shù)據(jù)，包括環(huán)境數(shù)據(jù)、設(shè)備數(shù)據(jù)、人員數(shù)據(jù)等，為構(gòu)建知識圖譜和定義人工系統(tǒng)等高級功能提供可靠的數(shù)據(jù)服務(wù)。高性能計算環(huán)境提供云計算服務(wù)，采用分布式計算和并行計算等方式，快速實現(xiàn)大規(guī)模數(shù)據(jù)的處理和分析。移動端相對靈活，可以是專業(yè)設(shè)備、手機等具備一定計算能力的便攜式設(shè)備，提供最低限度的通信、計算等功能，能夠支撐起基于區(qū)塊鏈的去中心化互聯(lián)網(wǎng)Web 3.0。軟件平臺包含了網(wǎng)絡(luò)庫、知識庫和方法庫等基本庫，用于構(gòu)建和訓(xùn)練大模型，提供兩個重要的服務(wù)，即人工系統(tǒng)設(shè)計和任務(wù)導(dǎo)向的計算實驗。子任務(wù)模塊面向下游任務(wù)，支持場景建模、科學(xué)問題計算、可視化等功能。軟件平臺的操作系統(tǒng)應(yīng)既能滿足真人的使用需要，也能為數(shù)字人等提供管理操作的接口，提供實時的虛實交互和可視化功能，能夠以場景工程的方式展示人工系統(tǒng)和實際系統(tǒng)的變化趨勢。

DeDAO 的模型設(shè)計和實現(xiàn)主要包括如下 5 個模塊：數(shù)據(jù)預(yù)處理、單模態(tài)特征提取、多模態(tài)特征和專家知識融合、預(yù)訓(xùn)練任務(wù)設(shè)計及下游任務(wù)適配。各模塊介紹如下。

數(shù)據(jù)預(yù)處理。DeDAO旨在處理微分方程數(shù)值求解及其應(yīng)用的相關(guān)問題，所以處理的數(shù)據(jù)不僅包含一般的數(shù)值數(shù)據(jù)，還包括實際應(yīng)用中的自然語言、圖像、視頻等數(shù)據(jù)。為此，需要對數(shù)據(jù)進行預(yù)處理，包括填補數(shù)據(jù)、修復(fù)數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)以及標準化（Tokenization）等，將這些數(shù)據(jù)統(tǒng)一處理成計算機可處理的形式。
單模態(tài)特征提取、多模態(tài)特征和專家知識融合。首先是單模態(tài)特征提取模塊，該模塊采用自注意機制從單模態(tài)數(shù)據(jù)中初步提取特征。但是不同微分方程背后的數(shù)學(xué)本質(zhì)是一樣的，可采用相同或類似的“基函數(shù)”進行描述，因此單模態(tài)特征的初步提取是不夠的。為了進一步提取多模態(tài)數(shù)據(jù)中的特征并獲得混合多模態(tài)特征，多模態(tài)特征和專家知識融合模塊采用混合注意機制將單模態(tài)特征和專家知識（物理定律）進一步融合。同時，值得指出的是，單模態(tài)數(shù)據(jù)中提取出的特征并非都被使用，而是根據(jù)具體需求選擇。因此多模態(tài)特征和專家知識融合模塊采用了混合專家（mixture-of-experts）機制，即哪個特征參與最后的多模態(tài)和知識混合由該模塊決定，這既減小了計算量，也有助于提升性能。
預(yù)訓(xùn)練任務(wù)。預(yù)訓(xùn)練任務(wù)設(shè)計是訓(xùn)練大模型的關(guān)鍵步驟。通常來說，預(yù)訓(xùn)練任務(wù)需滿足兩個條件：預(yù)訓(xùn)練任務(wù)與下游任務(wù)相關(guān)；預(yù)訓(xùn)練任務(wù)需以自監(jiān)督的形式實現(xiàn)。第一個條件主要確保預(yù)訓(xùn)練任務(wù)提取的特征是適用于下游任務(wù)的；第二個條件則是因為大模型需要海量訓(xùn)練數(shù)據(jù)，如果每個數(shù)據(jù)都需手工標注，則很難實現(xiàn)，同時也不利于長期學(xué)習(xí)優(yōu)化。為此，DeDAO 的預(yù)訓(xùn)練任務(wù)可設(shè)計為如下3類：單步/多步狀態(tài)預(yù)測、微分方程求解及虛擬空間任務(wù)。由于DeDAO處理動力學(xué)系統(tǒng)，其狀態(tài)預(yù)測是一個關(guān)鍵問題，且具有廣泛的應(yīng)用。對于單步/多步狀態(tài)預(yù)測任務(wù)，可以先挖空一段數(shù)據(jù)再對其預(yù)測，做到自監(jiān)督學(xué)習(xí)。對于微分方程求解任務(wù)，基于自然語言描述的微分方程知識、微分方程定律和數(shù)據(jù)等，可做到自監(jiān)督，如在式（5）中令f(x,t)=0。而對于虛擬空間任務(wù)，由計算機技術(shù)產(chǎn)生的虛擬任務(wù)，其數(shù)據(jù)和標簽通常是成對出現(xiàn)的，無須額外的人工標注，這也是采用人工系統(tǒng)的好處。
下游任務(wù)適配。下游任務(wù)適配模塊主要針對實際應(yīng)用。由于預(yù)訓(xùn)練任務(wù)很難覆蓋所有實際的下游任務(wù)，所以預(yù)訓(xùn)練任務(wù)的主要功能是從數(shù)據(jù)中提取盡可能全面而精確的特征。在下游任務(wù)適配模塊，基于遷移學(xué)習(xí)等方式，通過少量數(shù)據(jù)的微調(diào)DeDAO，使其可高效處理下游任務(wù)，并通過模型壓縮、知識蒸餾等方式縮小模型，使其符合部署條件。同時，微調(diào)后的模型將同時應(yīng)用于人工系統(tǒng)和實際系統(tǒng)，云端系統(tǒng)將持續(xù)跟蹤和分析DeDAO在實際系統(tǒng)和人工系統(tǒng)中的性能。當性能不符合預(yù)期時， DeDAO 和人工系統(tǒng)會被優(yōu)化以達到期望的效果。DeDAO 的設(shè)計、訓(xùn)練、運行和優(yōu)化遵循平行系統(tǒng)“邊緣簡單，云端復(fù)雜”的基本原則。

4.3 DeDAO之基于最佳格點集的最小二乘法

早在20世紀80年代，深度學(xué)習(xí)未興起之前，研究人員已探索過數(shù)據(jù)與物理相結(jié)合的方法求解微分方程。與現(xiàn)如今方案不同的是，該方案將試函數(shù)作為近似分析的基本單元，殘差中只包含控制方程的計算值，通過最小二乘法優(yōu)化其中的待定參數(shù)。類似于式（4），可取如式（11）所示的試函數(shù)：

其中，c為待定參數(shù)，將式（11）帶入式（3）可得殘差如式（12）所示：

采用最小二乘法優(yōu)化該殘差的平方和，即可得到物理方程的近似解。從圖1來看，將深度神經(jīng)網(wǎng)絡(luò)替換為試函數(shù)，物理方程中只包含微分方程，損失函數(shù)采用其平方和，即最小二乘法求解微分方程的經(jīng)典結(jié)構(gòu)之一。

由于微分方程的解為連續(xù)函數(shù)，因此定義域中點列

的選取與近似解的精度相關(guān)，也就是說在離散空間中表示原函數(shù)，需要采取一定的標準。對此，參考文獻采用最佳格點集來實現(xiàn)最小二乘法求解微分方程的配點，式（13）是常見的一種佳點集：

其中，，p為素數(shù)，具有偏差。采用一致分布使配點分布均勻，離散殘差能較好地逼近連續(xù)型殘差，這一點比高斯配點法優(yōu)越。

在計算機技術(shù)快速發(fā)展的當下，采用人工神經(jīng)元取代試函數(shù)作為基底能夠形成通用的近似結(jié)構(gòu)，方便工程實踐。采用物理知識輔助進行深度學(xué)習(xí)，可實現(xiàn)無網(wǎng)格的求解，借助人工智能解決物理中的數(shù)學(xué)問題。基于神經(jīng)網(wǎng)絡(luò)的通用逼近定律如式（10），深度學(xué)習(xí)求解微分方程的方法，有望取得與有限元法與有限體積法等常用數(shù)值方法相似甚至更好的精度。因此，在DeDAO中，本文采用深度神經(jīng)網(wǎng)絡(luò)描述方程解的特征，以取代試函數(shù)的組合，給出使用最小二乘法優(yōu)化網(wǎng)絡(luò)參數(shù)的一種求解方法框架，其殘差加權(quán)損失函數(shù)設(shè)計如式（14）所示：

其中，R_ph及R_ob如式（15）所示：

R_ph和R_ob表示根據(jù)物理方程與已知觀測觀察數(shù)據(jù)計算的殘差，分別是物理和數(shù)據(jù)驅(qū)動的部分，并乘以權(quán)重A和B，物理方程和觀測數(shù)據(jù)由DeDAO數(shù)據(jù)預(yù)處理模塊提供；θ表示神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)。考慮到高斯法的局限性，選擇一致分布點集構(gòu)造最小二乘法最佳配點，對各類近似解的“基函數(shù)”進行編碼。通過最小化損失函數(shù)確定一組權(quán)重參數(shù)，滿足對微分方程的近似求解。針對非線性優(yōu)化問題，采用迭代法進行網(wǎng)絡(luò)參數(shù)優(yōu)化。

針對不同應(yīng)用場景，存在數(shù)據(jù)有限或有噪聲等問題，可以在預(yù)訓(xùn)練任務(wù)過程中，調(diào)節(jié)權(quán)重參數(shù)以緩解過擬合。此外，基于最小二乘法優(yōu)化損失函數(shù)的同時，考慮將網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)與有限元法、有限體積法等的近似結(jié)果比較，再借助數(shù)論分析待定參數(shù)的含義與變化，探索物理知情深度神經(jīng)網(wǎng)絡(luò)的可解釋性。

5 結(jié)束語

為促進微分方程深度學(xué)習(xí)求解方法研究的進一步深入，本文對常用微分方程深度學(xué)習(xí)求解方法的研究現(xiàn)狀進行簡要綜述，將相關(guān)深度學(xué)習(xí)求解方法分為數(shù)據(jù)驅(qū)動和物理知情兩類。同時介紹了相關(guān)方法在實際工程中的典型應(yīng)用。在總結(jié)和調(diào)研的基礎(chǔ)上，本文進一步給出了科學(xué)智能大模型——DeDAO。DeDAO將深度學(xué)習(xí)和微分方程求解深度融合，利用大模型強大的函數(shù)近似和泛化能力充分挖掘微分方程的數(shù)學(xué)本質(zhì)，提升微分方程深度學(xué)習(xí)求解方法的效率和精度，同時DeDAO基于平行系統(tǒng)理論，可處理包含復(fù)雜社會因素的科學(xué)問題及相關(guān)應(yīng)用，極大地促進了科學(xué)智能的發(fā)展和落地應(yīng)用。

作者簡介

盧經(jīng)緯（1990- ），男，青島智能產(chǎn)業(yè)技術(shù)研究院助理研究員，主要研究方向為最優(yōu)控制、平行控制、自適應(yīng)動態(tài)規(guī)劃和深度強化學(xué)習(xí)。

程相（1994- ），男，中國科學(xué)院自動化研究所博士生，主要研究方向為智慧油田、深度學(xué)習(xí)和平行控制。

王飛躍（1961- ），男，中國科學(xué)院自動化研究所復(fù)雜系統(tǒng)管理與控制國家重點實驗室主任，主要研究方向為平行系統(tǒng)的方法與應(yīng)用、社會計算、平行智能以及知識自動化。