基于信息的方法

介紹了預(yù)測(cè)方法，我們?cè)賮砜椿谛畔⒌姆椒ā?/p>

優(yōu)良的表征應(yīng)該能將輸入中的大量信息保存下來。受此啟發(fā)，Vincent et al. 在 2010 年提出使用自動(dòng)編碼器來進(jìn)行表征學(xué)習(xí)，這意味著隱藏表征應(yīng)該可以解碼到與其輸入一樣。

但自動(dòng)編碼器資源消耗高，既需要編碼，也需要解碼，而在圖領(lǐng)域，如何解碼圖仍還是一個(gè)有待解決的問題。那么還有其它可以直接衡量表征與輸入之間的信息的方法嗎？有的，那就是互信息（mutual information）。

給定兩個(gè)隨機(jī)變量，互信息的定義是它們的邊界屬性和關(guān)節(jié)屬性的積之間的 KL 散度，這又可以進(jìn)一步推導(dǎo)為熵減去條件熵。

互信息為什么可以計(jì)算信息關(guān)系？我們可以這樣看，如果 X 和 Y 互相獨(dú)立，且 p(X)p(Y)=p(X,Y)，則互信息等于 0，這表明 X 和 Y 不相關(guān)。這是合理的，因?yàn)?X 和 Y 互相獨(dú)立。如果條件熵為 0，則 X 和 Y 確定是相關(guān)的，則互信息輸出為最大值。

Hjelm et al. 2019 證明執(zhí)行自動(dòng)編碼是計(jì)算互信息的重建誤差的一個(gè)下限。

計(jì)算互信息是很困難的，近些年方才出現(xiàn)一些可行的方法。這里有三種典型的方法（MINE、JSD MI 和 infoNCE MI），其基本思想是學(xué)習(xí)一個(gè)神經(jīng)網(wǎng)絡(luò)來最大化互信息的一個(gè)替代函數(shù)。詳情請(qǐng)參閱各論文。

回到圖，我們能否使用互信息來實(shí)現(xiàn)圖的自監(jiān)督學(xué)習(xí)？DGI 是這方面首個(gè)研究成果，其目標(biāo)設(shè)定為最大化輸入的節(jié)點(diǎn)特征 X 和鄰接矩陣 A 與輸出表征 h_i 之間的互信息。DGI 使用了 JSD 估計(jì)器，其中包含正例項(xiàng)和負(fù)例項(xiàng)。

但直接計(jì)算互信息的難度不小，我們可能需要另一個(gè) GNN 作為互信息的替代。DGI 使用了表征的讀出 s 來替代輸入。如下圖所示，原圖有兩個(gè)輸入，其中錯(cuò)誤的圖是負(fù)例，然后我們用同樣的 GNN 得到它們的輸出，之后再執(zhí)行讀出函數(shù)得到 s。s 可以替代原目標(biāo)中的 X,A，得到替代目標(biāo)函數(shù)。

DGI 證明這種操作不會(huì)導(dǎo)致信息損失，其還證明這種替換方式實(shí)際上就等同于真正的互信息。

不過 DGI 仍還有一些問題。第一是它需要讀出函數(shù)來計(jì)算互信息，而且這個(gè)讀出函數(shù)需要是單射式的，這并不容易保證。另外它還需要構(gòu)建錯(cuò)誤的圖來得到負(fù)例，因此效率不高。而在實(shí)驗(yàn)中，DGI 需要為不同的任務(wù)使用不同的編碼器，這并不實(shí)用。

針對(duì)這些問題，清華大學(xué)、西安交通大學(xué)與騰訊 AI Lab合作提出了 GMI，其基本思想是不使用讀出函數(shù)和錯(cuò)誤樣本，而是直接計(jì)算互信息。

在 GMI 中，首先分兩部分定義互信息。一是特征互信息，僅度量節(jié)點(diǎn)特征和表征之間的信息關(guān)系。二是拓?fù)浠バ畔?，這是預(yù)測(cè)的邊和原始鄰接矩陣之間的互信息。

很顯然，這一方法能同時(shí)考慮到邊和特征，而無需讀出函數(shù)或錯(cuò)誤樣本。更重要的是，特征互信息還能進(jìn)一步分解。

我們證明：特征互信息可以分解為局部互信息的加權(quán)和。而每個(gè)局部互信息計(jì)算的是每個(gè)節(jié)點(diǎn)及其表征之間的互信息。權(quán)重取決于不同的情況，將它們?cè)O(shè)置為與預(yù)測(cè)的邊一樣也不錯(cuò)。然后我們可以使用 JSD 互信息估計(jì)器來計(jì)算特征互信息和邊互信息。

在節(jié)點(diǎn)分類任務(wù)上的實(shí)驗(yàn)結(jié)果證明 GMI 有更優(yōu)的表現(xiàn)，相關(guān)的代碼也已經(jīng)發(fā)布：https://github.com/zpeng27/GMI

至于用于圖分類的基于信息的方法，可參看 ICLR 2020 論文《InfoGraph: Unsupervised and Semi-supervised Graph-Level Representation Learning via Mutual Information Maximization》，這里不再過多贅述。