三、圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用進(jìn)展

圖神經(jīng)網(wǎng)絡(luò)作為一種有效的深度學(xué)習(xí)工具，已經(jīng)在分子屬性預(yù)測(cè)、生物學(xué)分析、金融等許多領(lǐng)域得到了應(yīng)用。這里以騰訊 AI Lab 實(shí)現(xiàn)的在社交網(wǎng)絡(luò)和醫(yī)療影像領(lǐng)域的應(yīng)用為例，介紹圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用進(jìn)展。

1.用于社交網(wǎng)絡(luò)的 GNN

首先來(lái)看一篇 WWW 2019 論文《Semi-supervised graph classification: A hierarchical graph perspective》，其中騰訊 AI Lab 提出了使用分層圖實(shí)現(xiàn)半監(jiān)督圖分類的方法。

分層圖是指一組通過邊互相連接在一起的圖實(shí)例，如圖所示：

在許多現(xiàn)實(shí)應(yīng)用中，很多數(shù)據(jù)都可以建模成分層圖的形式，比如具有分組結(jié)構(gòu)的社交網(wǎng)絡(luò)和文檔集合（比如具有引用關(guān)系的graph-of-words）。如上所示，假設(shè)我們有一個(gè)「用戶-分組」分層圖，我們知道其中部分標(biāo)簽，我們可以怎樣預(yù)測(cè)其它組的標(biāo)簽？

如果僅考慮組之間的聯(lián)系，那么這個(gè)問題就又回到了節(jié)點(diǎn)分類。但是，可以看到每一組都有自己的用戶圖，忽略這樣的信息并不合適。為了在用戶和分組層面上利用圖信息，我們面臨著這樣的難題：如何將任意大小的圖表征為固定長(zhǎng)度的向量？如何整合實(shí)例層面和分層層面的信息？

首先來(lái)看第一個(gè)問題。圖表征與節(jié)點(diǎn)表征在不同的層面上；在節(jié)點(diǎn)層面上圖 G 會(huì)被投射到大小為 n×v 的隱藏空間中；而在圖層面上圖 G 會(huì)被投射成大小為 v 的隱藏向量。因此，為了將節(jié)點(diǎn)層面的空間轉(zhuǎn)換成圖層面的向量，這里引入了自注意力圖嵌入（SGAE）

首先，將單個(gè)圖通過一個(gè)兩層 GCN，得到節(jié)點(diǎn)層面的表征 H，其大小為 n×v，然后根據(jù)上圖中的 S 計(jì)算自注意力。在經(jīng)過一個(gè) softmax 函數(shù)之后，會(huì)得到一個(gè)具有 r 個(gè)頭的多頭自注意分?jǐn)?shù)，其大小為 r×n。然后，如果我們將這些分?jǐn)?shù)應(yīng)用到節(jié)點(diǎn)層面的表征，我們就會(huì)得到大小固定為 r×v 的矩陣。SAGE 有三大優(yōu)勢(shì)：1）其大小因自注意力而保持不變，2）因?yàn)?GCN 平滑而具有排列不變性，3）因?yàn)樽宰⒁饬Χ苁褂霉?jié)點(diǎn)重要度。

對(duì)于第二個(gè)問題：如何整合實(shí)例層面和分層層面的信息？這里實(shí)例層面是基于 SAGE 的圖層面學(xué)習(xí)，分層層面模型是節(jié)點(diǎn)層面的學(xué)習(xí)。我們使用了特征共享來(lái)連接 SAGE 的輸出和 GCN 的輸入。然后又引入一種新的分歧損失（disagreement loss）來(lái)最小化實(shí)例分類器和分層分類器之間的不一致情況。

另外，我們還使用了主動(dòng)學(xué)習(xí)來(lái)解決樣本數(shù)量少的問題。我們使用了分歧損失來(lái)為外部標(biāo)注選擇實(shí)例。有關(guān)這兩種算法 SEAL-AI 和 SEAL-CI 的詳情以及相關(guān)實(shí)驗(yàn)結(jié)果請(qǐng)查閱論文。

接下來(lái)看騰訊 AI Lab 另一項(xiàng)被 AAAI 2020 接收的研究《Rumor Detection on Social Media with Bi-Directional Graph Convolutional Networks》，提出了一種通過雙向圖卷積網(wǎng)絡(luò)實(shí)現(xiàn)社交網(wǎng)絡(luò)謠言檢測(cè)的新思路。

謠言可算是當(dāng)今社會(huì)面臨的一大頑疾。這篇論文提出通過關(guān)注和轉(zhuǎn)發(fā)關(guān)系來(lái)檢測(cè)社交媒體上的謠言。不管是謠言還是新聞，它們的傳播模式都是樹結(jié)構(gòu)的。但通常來(lái)說(shuō)，謠言的傳播有兩個(gè)屬性。第一如下圖 b 所示，其會(huì)沿一條關(guān)系鏈進(jìn)行很深的傳播。第二如圖 c，謠言在社交媒體上傳播時(shí)散布很寬。舉個(gè)例子，一個(gè) Twitter 用戶可能有大量關(guān)注者。

為了同時(shí)獲取謠言傳播的這兩種屬性，我們?cè)O(shè)計(jì)了一種基于 GCN 的新模型。這個(gè)用于謠言檢測(cè)的雙向 GCN 包含 4 個(gè)組件：1）兩個(gè)不同的有向圖，用于描述謠言的傳播和擴(kuò)散度；2）使用二層 GCN 來(lái)計(jì)算高層面的節(jié)點(diǎn)表征；GCN 不僅能學(xué)習(xí)特征信息，還能學(xué)習(xí)謠言的傳播拓?fù)浣Y(jié)構(gòu)；3）經(jīng)過觀察，根節(jié)點(diǎn)通常就已經(jīng)包含了謠言或新聞的主要內(nèi)容，而關(guān)注者通常只是不帶任何內(nèi)容進(jìn)行轉(zhuǎn)發(fā)，因此通過將根特征連接到樹中的每個(gè)節(jié)點(diǎn)，可以增強(qiáng)每層的隱藏特征；4）分別根據(jù)節(jié)點(diǎn)表征對(duì)傳播和擴(kuò)散度的兩個(gè)表征進(jìn)行池化處理。這兩個(gè)表征再被聚合到一起得到最終結(jié)果。

我們?cè)?Twitter15、Twitter16、Weibo 三個(gè)常用基準(zhǔn)上的實(shí)驗(yàn)研究對(duì)這一方法的效果進(jìn)行驗(yàn)證，結(jié)果表明新方法具有顯著更優(yōu)的表現(xiàn)。

此外，我們還評(píng)估了謠言的早期偵測(cè)，此時(shí)僅給出謠言樹上非常有限的節(jié)點(diǎn)并且還設(shè)置了一個(gè)偵測(cè)截止時(shí)間，結(jié)果表明基于圖的方法非常適用于早期發(fā)現(xiàn)謠言。

2.用于醫(yī)療影像的 GNN

醫(yī)療影像也是 GNN 的一個(gè)重要應(yīng)用場(chǎng)景，騰訊 AI Lab 近兩年在這一領(lǐng)域取得了一些重要的研究成果。首先來(lái)看騰訊 AI Lab 的 MICCAI 2018 論文《Graph CNN for Survival Analysis on Whole Slide Pathological Images》，其中提出使用圖卷積網(wǎng)絡(luò)基于全切片病理圖像進(jìn)行生存分析。

生存分析的目標(biāo)是預(yù)測(cè)特定事件發(fā)生的風(fēng)險(xiǎn)，這類事件包括器官衰竭、****物不良反應(yīng)和死亡。有效的分析結(jié)果具有重要的臨床應(yīng)用價(jià)值。但實(shí)際操作時(shí)卻面臨著許多困難。

首先，全切片病理圖像（WSI）分析是一個(gè)需要大量計(jì)算的過程，因?yàn)閱螐?WSI 的數(shù)據(jù)量就超過 0.5 GB，而且其中包含數(shù)百萬(wàn)個(gè)細(xì)胞，還涉及局部特征和全局特征，因此非常復(fù)雜。另外，如何將 WSI 的拓?fù)涮卣饔糜谏娣治鲆策€是一個(gè)有待解決的問題。

為此，我們提出將 WSI 建模成圖，然后開發(fā)了一種圖卷積神經(jīng)網(wǎng)絡(luò)（Graph CNN），其使用了注意力機(jī)制，可通過提供 WSI 的最優(yōu)圖表征來(lái)實(shí)現(xiàn)更好的生存分析。

實(shí)驗(yàn)結(jié)果表明，這種新方法優(yōu)于之前的其它方法。

這一部分同時(shí)也介紹了近年來(lái)GNN在醫(yī)療圖像上的其他工作：在IPMI2019發(fā)表的《Graph Convolutional Nets for Tool Presence Detection in Surgical Videos》中，作者提出使用 GCN 來(lái)檢測(cè)手術(shù)視頻中的工具，這是自動(dòng)手術(shù)視頻內(nèi)容分析的核心問題之一，可用于手術(shù)器材使用評(píng)估和手術(shù)報(bào)告自動(dòng)生成等應(yīng)用。這個(gè)模型使用了 GCN 沿時(shí)間維度通過考慮連續(xù)視頻幀之間的關(guān)系來(lái)學(xué)習(xí)更好的特征。

而在MICCAI 2020發(fā)表的論文《Graph Attention Multi-instance Learning for Accurate Colorectal Cancer Staging》中，作者提出使用圖注意力多實(shí)例學(xué)習(xí)來(lái)準(zhǔn)確判斷結(jié)直腸癌是處于早期、中期還是晚期。

總結(jié)和展望

在這次課程中，我們介紹了圖神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史、包括圖神經(jīng)網(wǎng)絡(luò)的表達(dá)能力、深度、大規(guī)模擴(kuò)展、自監(jiān)督/無(wú)監(jiān)督學(xué)習(xí)等方面的研究進(jìn)展，也簡(jiǎn)要介紹了騰訊 AI Lab 在圖神經(jīng)網(wǎng)絡(luò)的社交網(wǎng)絡(luò)和醫(yī)療影像應(yīng)用方面的一些初步成果。

圖深度學(xué)習(xí)領(lǐng)域仍處于發(fā)展之中，有很多有趣的問題等待解決，例如逆向圖識(shí)別（IGI），即我們?cè)趫D分類問題中，是否可以根據(jù)圖的標(biāo)簽來(lái)推斷每個(gè)節(jié)點(diǎn)的標(biāo)簽？子圖識(shí)別，即如何在圖中找到關(guān)鍵的子圖同時(shí)還有圖與多示例學(xué)習(xí)問題的結(jié)合形成多圖示例學(xué)習(xí)問題，以及在圖上進(jìn)行攻擊與防御相關(guān)的圖深度學(xué)習(xí)魯棒性的研究。最后，層次圖也是一個(gè)熱門的研究方向。圖神經(jīng)網(wǎng)絡(luò)必將在人工智能領(lǐng)域未來(lái)的研究和應(yīng)用中扮演更重要的角色。