3 月 23 日，在機器之心 AI 科技年會上，上海交通大學自然科學研究院和數(shù)學科學學院副教授、上海人工智能實驗室成員王宇光老師發(fā)表了主題演講《幾何深度學習和圖神經(jīng)網(wǎng)絡(luò)的研究進展和趨勢》。

演講視頻地址（點擊「閱讀原文」也可觀看）：https://www.bilibili.com/video/BV1Yr4y1q7c1?spm_id_from=333.999.0.0

以下為王宇光在機器之心 AI 科技年會上的演講內(nèi)容，機器之心進行了不改變原意的編輯、整理：

大家下午好，我是上海交大自然科學研究院的王宇光。今天主要給大家介紹一下幾何深度學習和圖神經(jīng)網(wǎng)絡(luò)的研究進展，以及未來的技術(shù)趨勢。

我們知道幾何深度學習是用于處理不同對象的深度神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)和傳統(tǒng) CNN 相似，只是處理的對象發(fā)生了變化。

傳統(tǒng) CNN 處理的可能是圖片數(shù)據(jù)，在數(shù)學上是由格點像素值組成的平面 2D 數(shù)據(jù)，如果有多個 channel 則可能是張量數(shù)據(jù)，但往往不考慮像素之間的相互關(guān)系，不考慮各個格點之間的相互連接。而幾何深度學習的重要數(shù)據(jù)對象是圖結(jié)構(gòu)數(shù)據(jù)或者更廣義的 3D 點云數(shù)據(jù)等，結(jié)構(gòu)數(shù)據(jù)區(qū)別于原始圖片數(shù)據(jù)的一個重要特點是不僅有節(jié)點（節(jié)點對應(yīng)原來圖片的像素），還有節(jié)點之間的相互連接。以經(jīng)典的圖結(jié)構(gòu)——分子數(shù)據(jù)結(jié)構(gòu)為例，分子由原子構(gòu)成，原子可以看作圖的節(jié)點，原子之間的化學鍵可以看作圖中邊的權(quán)值，這就構(gòu)成了圖結(jié)構(gòu)數(shù)據(jù)。這種數(shù)據(jù)結(jié)構(gòu)廣泛存在于應(yīng)用中，圖結(jié)構(gòu)數(shù)據(jù)比圖片數(shù)據(jù)多考慮了節(jié)點之間的連接。

對于圖分類問題或回歸問題，各個樣本的尺寸和結(jié)構(gòu)可能是不盡相同的，這就導致傳統(tǒng) CNN 方法不適用于新型圖結(jié)構(gòu)數(shù)據(jù)的學習、預(yù)測任務(wù)。

幾何深度學習實際上是這幾年才發(fā)展起來的，特別是從 2021 年開始大家才廣泛關(guān)注幾何深度學習和圖神經(jīng)網(wǎng)絡(luò)，因為 2021 年 AlphaFold 實現(xiàn)了對蛋白質(zhì)結(jié)構(gòu)的準確預(yù)測，準確率可以達到 95% 以上。這樣高精度而且非?？焖俚念A(yù)測工具，是基于一些幾何深度學習的模塊。這項工作被 Science 評為 2021 年十大科學進展之最。圖神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于其他領(lǐng)域，例如它對一些數(shù)學定理的證明或發(fā)現(xiàn)起到了很好的作用，特別是去年發(fā)表在 Nature 上的一個用 GNN 輔助科學證明的算法，由 DeepMind 與幾位科學家合作完成，引起了數(shù)學圈很大的轟動。

深度學習理論，特別是關(guān)于幾何深度學習和圖神經(jīng)網(wǎng)絡(luò)的理論，和傳統(tǒng)深度學習理論比較類似，研究重點主要包括以下幾個方面：

深度學習的表達能力，涉及到很多的數(shù)學理論，當然也可能涉及一些物理的解釋；

例如，學習理論、調(diào)和分析、統(tǒng)計學對于研究深度學習的泛化能力非常重要；

深度學習主要依賴于反向傳播算法，所以最優(yōu)化理論也是一個重要的研究工具；

一些特別有效的算法的設(shè)計基本原理，也依賴于諸多數(shù)學理論。

圖神經(jīng)網(wǎng)絡(luò)是幾何深度學習的一部分，研究具有結(jié)構(gòu)屬性、拓撲性質(zhì)的數(shù)據(jù)的學習和預(yù)測任務(wù)。圖神經(jīng)網(wǎng)絡(luò)的每一個特征提取層都會對節(jié)點的特征和連接的特征進行更新，這種更新模式被叫作消息傳遞模式。

消息傳遞模式指的是要更新某一個點的特征，需要考慮周邊和它相連的點的特征，這里就要用到推進函數(shù)。推進函數(shù)通常是由一個網(wǎng)絡(luò)對節(jié)點和周邊節(jié)點關(guān)系的刻畫。然后用另一個網(wǎng)絡(luò)整合周邊節(jié)點信息，接著加和到這個節(jié)點本身的特征中，這兩步更新模式就構(gòu)成了一個基本的消息傳遞模式。

圖神經(jīng)網(wǎng)絡(luò)特征提取模塊可以寫成圖卷積的模式，與傳統(tǒng)的 CNN 卷積類似，只不過在圖上定義卷積不如 CNN 直觀，不能用空間域窗口的方式平移得到，但是可以仿照傅里葉卷積的模式，定義圖卷積的模塊。這種卷積被證明和傳統(tǒng) CNN 具有相似的特征提取功能，共享了參數(shù)，并保持了重要的圖結(jié)構(gòu)性質(zhì)，從而在圖神經(jīng)網(wǎng)絡(luò)的學習中起到了很好的特征提取作用。其中一個很重要的模塊是由譜圖神經(jīng)網(wǎng)絡(luò)衍生出來的經(jīng)典 GCN 模型，如果寫成譜圖的形式就是 Laplacian 正則化的過程。

如果我們想設(shè)計更好的，具有更強的魯棒性或者更好抗噪能力的 GNN，可以在正則化中再做一個更新，比如說引入一些小波變換、L1 正則等。事實上人們設(shè)計了一些具有多尺度多層分析能力的圖卷積模塊，并且引入了 Shrinkage 技術(shù)等對信號進行過濾、對數(shù)據(jù)進行壓縮，這些在實踐中都得到了比較好的驗證。

但圖神經(jīng)網(wǎng)絡(luò)有時候還不夠用，因為隨著任務(wù)的復雜，特別是涉及復雜系統(tǒng)、海量數(shù)據(jù)的研究或者高階任務(wù)的預(yù)測（例如軌跡預(yù)測等新型任務(wù)），傳統(tǒng)的圖神經(jīng)網(wǎng)絡(luò)還不夠。

人們又考慮是不是能夠在圖學習中利用更多的拓撲信息或結(jié)構(gòu)信息，因此就導出了一種超越神經(jīng)網(wǎng)絡(luò)的單純復形網(wǎng)絡(luò)的消息傳遞模式，主要克服了圖神經(jīng)網(wǎng)絡(luò)的三個缺陷。第一是圖神經(jīng)網(wǎng)絡(luò)在建模多個節(jié)點相互作用的時候并沒有那么有效；第二是在檢測高階結(jié)構(gòu)（比如二階拓撲結(jié)構(gòu)）時，圖神經(jīng)網(wǎng)絡(luò)由于只考慮了關(guān)系，即連接節(jié)點的邊而并沒有考慮環(huán)或者面的信息和特征，因此 GNN 不能完成高階任務(wù)；第三是不能有效地處理高階信號，例如預(yù)測從某一點到另一點的軌跡信息。

單純復形網(wǎng)絡(luò)和傳統(tǒng)的消息傳遞模式很類似，只不過在傳遞的過程中不僅考慮了兩個節(jié)點之間邊的連接，還考慮了高階結(jié)構(gòu)（比如三角形或多邊形）中的拓撲結(jié)構(gòu)。把這些加入到消息傳遞模式中，就形成了單純復形消息傳遞模式。

這樣的模式可以更好地完成一些復雜任務(wù)，而且事實證明它們的表達能力比傳統(tǒng)的圖神經(jīng)網(wǎng)絡(luò)更強。在一些特殊任務(wù)（例如軌跡預(yù)測任務(wù)）上，同等條件下比圖神經(jīng)網(wǎng)絡(luò)的效果好很多。

關(guān)于未來的趨勢有很多個角度可以講，這里稍微列幾個大家可能感興趣或者比較重要的方向。

首先，圖神經(jīng)網(wǎng)絡(luò)原來是一個圖結(jié)構(gòu)數(shù)據(jù)，是一種離散化的結(jié)構(gòu)，但是數(shù)學工具往往是坐落在連續(xù)空間上的，所以近來大家考慮將微分幾何的一些方法引入到 GNN 中，包括新型等變 GNN 的架構(gòu)，利用對稱性等工具，以更好地理解和利用深度學習模型中圖結(jié)構(gòu)性質(zhì)的不確定性。

這里有一些值得關(guān)注的點，包括利用對稱性形成更有效的學習模型；應(yīng)用最優(yōu)傳輸?shù)乃枷?；在表示學習中使用微分幾何的一些概念，特別是人們對理解關(guān)系數(shù)據(jù)的幾何，并利用這些見解學習歐氏幾何或非歐幾何的表示有很濃厚的興趣。由此產(chǎn)生了許多采用特定幾何進行編碼的架構(gòu)，比如一種利用雙曲幾何的 GNN 模型，由 2019 年首次引入，最近又有了新的進展。此外，過去一年里提出了大量涉及雙曲幾何的新型模型和架構(gòu)，以捕獲更復雜的圖數(shù)據(jù)中的結(jié)構(gòu)特征。另一個思路則是利用等方差或者對稱形式的幾何信息構(gòu)建圖神經(jīng)網(wǎng)絡(luò)。

離散微分幾何也被用于深入了解圖神經(jīng)網(wǎng)絡(luò)的設(shè)計和解釋，曲率的離散概念可以表征離散結(jié)構(gòu)的局部和全局的幾何特性。圖神經(jīng)網(wǎng)絡(luò)往往會有過度擠壓的效應(yīng)，因為節(jié)點之間有相互連接所以信息傳遞比普通的 CNN 要快。最近一些專家提出了一些基于曲率的圖學習解釋方法，用曲率刻畫過度擠壓的效率，這在圖神經(jīng)網(wǎng)絡(luò)中是非常重要的任務(wù)。另外，有研究利用里奇曲率提出了一種減輕圖神經(jīng)網(wǎng)絡(luò)擠壓效應(yīng)的新方法。未來，離散曲率可能會和圖機器學習中的其他結(jié)構(gòu)或拓撲問題相關(guān)聯(lián)，這個課題也將繼續(xù)影響該領(lǐng)域，并進入更多應(yīng)用領(lǐng)域。

這些改進有望推動計算方面的進步。由于借鑒傳統(tǒng)的歐氏空間數(shù)據(jù)的表示學習思路來降低非歐空間的算法復雜度。例如，采用離散曲率幾何工具的計算成本往往是很高的，難以將它們集成到大規(guī)模的應(yīng)用程序之中。因此，人們將提出一些先進的計算方法和專業(yè)化的軟件包來使這種幾何思想更容易為從業(yè)者所接受。

上述消息傳遞模式將成為一種主要范式。2021 年的時候牛津大學 (University of Oxford) 的 Michael Bronstein 預(yù)測說圖機器學習進步需要脫離來自于 2020 年以及之前主導該領(lǐng)域消息傳遞的思路。不過在 2021 年的時候，這個預(yù)言只實現(xiàn)了一部分，在接下來的研究中預(yù)計會進一步發(fā)展。其中有一種思路是消息傳遞模式可以引入子圖神經(jīng)網(wǎng)絡(luò)，子圖結(jié)構(gòu)能夠?qū)μ卣鬟M行更有效的刻畫，子圖神經(jīng)網(wǎng)絡(luò)有望突破限制。該方法的思路是將圖表示成子結(jié)構(gòu)的集合，這個想法可以追溯到 1960 年代的圖重構(gòu)猜想，現(xiàn)在圖神經(jīng)網(wǎng)絡(luò)將讓它重新煥發(fā)生機，學者們認為子圖 GNN 和相應(yīng)的重構(gòu)猜想會是未來一個主要的研究方向。

2021 年以來還有一個新的趨勢是將微分方程引入神經(jīng)網(wǎng)絡(luò)。2021 年有研究通過物理系統(tǒng)的動力學重新設(shè)計圖學習模型，其中的動力學往往由微分方程來表達。另外，圖神經(jīng)網(wǎng)絡(luò)還可以與微分方程的求解方式相結(jié)合，偏微分方程可以對圖上信息的傳播進行建模，很多標準的圖神經(jīng)網(wǎng)絡(luò)架構(gòu)可以看作是求解微分方程的數(shù)值迭代解，這個和 2019 年 NeurlPS 上的最佳論文 Neural ODE 的思想很像，將偏微分方程用于圖形網(wǎng)絡(luò)可能會產(chǎn)生一些新的突破。

這種對連續(xù)對象離散化的方法帶來了令人耳目一新的效果，讓圖神經(jīng)網(wǎng)絡(luò)能夠為下游機器學習任務(wù)提取更有益的信息，并將焦點從支持一種信息轉(zhuǎn)移到支持圖結(jié)構(gòu)信號計算的模式上。特別是 2022 年使用圖作為一種機制來執(zhí)行本地化的連貫計算將成為一種新的趨勢，這種新想法在數(shù)據(jù)集上會交換有關(guān)的數(shù)據(jù)信息，并將其用作數(shù)據(jù)的整體屬性歸零的機制，這是一條有益的途徑。

圖神經(jīng)網(wǎng)絡(luò)還受到信號處理、神經(jīng)科學、物理學思想的啟發(fā)，獲得了新的靈感。很多人認為圖信號處理將重新點燃人們對圖機器學習的興趣，并提供一套數(shù)學工具，比如廣義傅里葉變換，即圖上的傅里葉變換，或圖上的小波變換等。經(jīng)典的信號處理和物理學所依賴的基本技術(shù)（比如表示論），在圖神經(jīng)網(wǎng)絡(luò)上的應(yīng)用已經(jīng)于 2021 年取得了一些重要進展，并且仍有很多開發(fā)空間。經(jīng)典的線性變換、傅里葉變換、小波變換的吸引人之處在于提供了一種具有數(shù)學屬性的通用隱式空間 (latent space) 和完備的數(shù)據(jù)表示，比如平滑信號具有低頻傅里葉系數(shù)，而分段平滑信號具有稀疏和局部的小波系數(shù)。過去有構(gòu)建線性變換來揭示信號特性的傳統(tǒng)，特別是有些物理學家在設(shè)計基于群作用下的不同對稱性的等變變換方面，會采用仿射群的連續(xù)小波變換等，這些技術(shù)都有可能用到圖機器學習或幾何深度學習里。

并且有研究人員預(yù)計構(gòu)建結(jié)構(gòu)化的潛在空間的趨勢將在 2022 年繼續(xù)得到發(fā)展，部分是由于應(yīng)用程序的需求，但也出于交換適應(yīng)性和可解釋性的普遍愿望。例如結(jié)構(gòu)化變換域不是自適應(yīng)的，但是非常容易讀取，而圖神經(jīng)網(wǎng)絡(luò)將有助于實現(xiàn)兩者的平衡。總的來說，受信號處理和神經(jīng)科學啟發(fā)的圖神經(jīng)網(wǎng)絡(luò)將越來越具有市場，也將有越來越多樣化的應(yīng)用（例如基于海量數(shù)據(jù)的交通預(yù)測、智慧城市建設(shè)），模擬復雜的物理動力學以及神經(jīng)數(shù)學分析等方面將會起到重要的作用。

在研究更復雜的任務(wù)時，例如先前提到的復雜系統(tǒng)建模，可能需要更高階的拓撲信息來進行模型的訓練，甚至需要超越圖神經(jīng)網(wǎng)絡(luò)。復雜系統(tǒng)的應(yīng)用也很廣，2021 年的物理諾獎頒給了以復雜系統(tǒng)成名的喬治 · 帕里西 (Giorgio Parisi)，以表彰他在這方面的研究突破。雖然在基本抽象的層面上，復雜系統(tǒng)通常可以描述為圖（graph），但必須考慮更為復雜的結(jié)構(gòu)，例如非成對關(guān)系和一些動態(tài)行為。2021 年的很多工作都涉及到動態(tài)圖和動態(tài)關(guān)系系統(tǒng)的預(yù)測，并展示了如何將圖神經(jīng)網(wǎng)絡(luò)拓展到高階結(jié)構(gòu)。

2021 年，單純復形的消息傳遞模式解決了圖神經(jīng)網(wǎng)絡(luò)的許多限制，例如檢測某些子結(jié)構(gòu)，捕獲遠程和高階交互，處理高階特征和轉(zhuǎn)譯 WL 層次的結(jié)構(gòu)。實踐中，在分子屬性的預(yù)測問題以及軌跡追蹤問題中都取得了很好的結(jié)果。我預(yù)計這些方法將在 2022 年擴展為更為激動人心的新應(yīng)用，比如用于計算大數(shù)據(jù)拓撲，關(guān)系預(yù)測和計算機通信學領(lǐng)域的難題中。

動態(tài)圖也有很多實際的應(yīng)用，例如新冠傳播預(yù)測，交通預(yù)測，軌跡建模，這些應(yīng)用往往需要捕獲高度結(jié)構(gòu)化的時序數(shù)據(jù)的復雜動態(tài)效應(yīng)。圖機器學習提供了捕獲空間依賴性，時間序列之間的交互以及動態(tài)相關(guān)性的能力，在接下來的研究中應(yīng)該能夠看到時序數(shù)據(jù)和動態(tài)系統(tǒng)結(jié)合的想法被用于圖神經(jīng)網(wǎng)絡(luò)中，也希望這些想法能夠產(chǎn)生新的模型設(shè)計、訓練方法以及對復雜動力機制的嚴格解釋。

另外，推理、公理、泛化在圖機器學習中會是比較大的問題。2021 年，由 DeepMind 做出的基于算法推理的圖神經(jīng)網(wǎng)絡(luò)，能夠用于解決一些數(shù)學猜想和定理。他們開發(fā)與廣義貝爾曼 - 福德 (Bellman-Ford) 算法一致的知識圖譜推理器，從而利用分布變化顯示因果模型來設(shè)計圖神經(jīng)網(wǎng)絡(luò)，這個方向具有很好的前景，而且通用性很強，可以為 GNN 開辟未來，我覺得 2022 年可能會有一些比較好的探索。

圖神經(jīng)網(wǎng)絡(luò)還有可能和強化學習結(jié)合，強化學習是當今人工智能研究中比較突出和活躍的領(lǐng)域之一，通常強化學習中的 agent 或環(huán)境表示中都會出現(xiàn)圖結(jié)構(gòu)和對稱性。2021 年有兩個比較相關(guān)的重要進展，一個是利用基于注意力機制的圖表示來建立強化學習的基準，以提高模型的泛化和遷移能力，這方面已經(jīng)應(yīng)用到連續(xù)控制、多智能體強化學習和機器人協(xié)同作業(yè)的復雜任務(wù)中。另一個方面，強化學習的應(yīng)用已經(jīng)擴展到具有基于圖的狀態(tài)和動態(tài)空間的環(huán)境場景下，在電網(wǎng)控制、組合優(yōu)化，以及在圖論中尋找反例和解決猜想中都起到了很大的作用。

圖可能是將強化學習帶入現(xiàn)實世界的一個關(guān)鍵技術(shù)，在芯片設(shè)計、代碼建模、****物發(fā)現(xiàn)、AI for science 的科學應(yīng)用、經(jīng)濟學等諸多領(lǐng)域都是無所不在的。2022 年可能會見證基于強化學習的基準和圖結(jié)合的寒武紀爆發(fā)，這將引領(lǐng)強化學習研究朝著應(yīng)用的方向發(fā)展，并會啟發(fā)很多基礎(chǔ)研究。我期望 2022 年基于 Transformer 和類似的圖注意力機制網(wǎng)絡(luò)的方法，能夠與強化學習結(jié)合。在不久的將來，圖網(wǎng)絡(luò)等方差、強化學習的組合優(yōu)化等方面也會有很大的突破，并將在分子設(shè)計、網(wǎng)絡(luò)規(guī)劃、芯片設(shè)計等領(lǐng)域有廣泛應(yīng)用。

特別地，圖神經(jīng)網(wǎng)絡(luò)廣泛用于****物的發(fā)現(xiàn)和設(shè)計，并且已從圖神經(jīng)網(wǎng)絡(luò)和 Transformer 的融合中獲益不少。GNN 的起源也是來自于計算化學的研究，分子圖的分析是 GNN 最流行的應(yīng)用之一。2021 年該領(lǐng)域持續(xù)取得了非常重大的進展，并涌現(xiàn)出數(shù)十種新型網(wǎng)絡(luò)結(jié)構(gòu)和多項基準測試結(jié)果。基于圖的 Transformer 也倍受矚目，繼承了這些結(jié)構(gòu)在 NLP 中的優(yōu)點。GNN 和 Transformer 相結(jié)合應(yīng)用到****物研發(fā)或其他分子預(yù)測任務(wù)中，能夠起到跨任務(wù)、加強泛化能力的作用。

人工智能驅(qū)動的****物發(fā)現(xiàn)也越來越多地使用幾何和圖神經(jīng)網(wǎng)絡(luò)的學習，AlphaFold 和分子圖神經(jīng)網(wǎng)絡(luò)的成果讓我們離 AI 設(shè)計新****的夢想更近了一步，特別是 Alphabet 新子公司 Isomorphic Labs 的成立表明了業(yè)界對這項技術(shù)寄予厚望。其中，利用 AI 模 擬分子的相互作用成為實現(xiàn)這些目標而必須跨越的重要前沿課題。這可能是未來的一個趨勢，因為現(xiàn)在只能預(yù)測分子的一些固定結(jié)構(gòu)，不能很好預(yù)測分子之間的相互作用，或者是多個粒子之間的相互作用。另外，基于細胞圖（cell graph）的 GNN 在軟物質(zhì)（或凝聚態(tài)物理）研究中的應(yīng)用將進一步發(fā)展。

最后，我簡單介紹一下圖神經(jīng)網(wǎng)絡(luò)與量子機器學習的結(jié)合。量子機器學習對領(lǐng)域內(nèi)大多數(shù)研究者來說仍是一個奇特的設(shè)想，但隨著量子計算硬件的出現(xiàn)，它已經(jīng)迅速成為可能的現(xiàn)實。最近，Alphabet X 公司展示了量子機器學習架構(gòu)中圖結(jié)構(gòu)歸納偏差的優(yōu)勢。2022 年，擴展圖量子機器學習將是一個激動人心的研究方向，將探索圖之外的幾何深度學習理論的量子版本。量子物理系統(tǒng)通常具有豐富的群對稱性，這些對稱性已被廣泛地納入到幾何深度學習的研究中。這些群對稱性也可用于量子架構(gòu)的設(shè)計，從而進一步提高我們使用量子計算機對此類系統(tǒng)進行生成建模的能力。

我今天的介紹就到這里，謝謝大家。