6. 現(xiàn)有方法總結(jié)

這里對(duì)主要的推理方法進(jìn)行一個(gè)總結(jié)，可以發(fā)現(xiàn)基于邏輯演繹規(guī)則和圖結(jié)構(gòu)的方法都是是基于符號(hào)的方法，其可解釋性比較好，但泛化性能比較差，都是離線的計(jì)算方式?；谥R(shí)圖譜嵌入和深度神經(jīng)網(wǎng)絡(luò)模型，其泛化性能比較好，但可解釋性比較差。

近期研究的重點(diǎn)是如何將符號(hào)主義和連接主義的模型進(jìn)行融合來獲得具有可解釋性的知識(shí)圖譜推理模型。

03 研究動(dòng)機(jī)

1. 知識(shí)圖譜推理的可解釋性

對(duì)知識(shí)圖譜推理的可解釋性來源進(jìn)行了分類：

• 邏輯可解釋性：是天然的知識(shí)圖譜可解釋性來源，可以提供邏輯解釋依據(jù)。

• 圖結(jié)構(gòu)的可解釋性：圖結(jié)構(gòu)具有路徑特征，如metapath和子圖的結(jié)構(gòu)特征。

• 神經(jīng)網(wǎng)絡(luò)模型可解釋性：事后可解釋性，可以通過神經(jīng)網(wǎng)絡(luò)的一些事后可解釋性手段來分析特征的顯著性。其代表方法是Attention機(jī)制的可視化，這種方法目前還不是很成熟；另一種是 CAM 或圖 CAM 方法；還有一種是利用嵌入空間理論分析方法，其中 RotateE 或雙曲空間其嵌入空間理論分析做的非常好，但是不能很好地解釋參數(shù)的變化。

2. 強(qiáng)化學(xué)習(xí)

如何對(duì)符號(hào)主義和連接主義的模型進(jìn)行有效的融合是近期的研究熱點(diǎn)。這里研究的重點(diǎn)是將強(qiáng)化學(xué)習(xí)融入到知識(shí)推理中。

強(qiáng)化學(xué)習(xí)是近 10 年來非常受關(guān)注的模型，在控制、游戲、機(jī)器人中得到了廣泛應(yīng)用。其是將一個(gè)學(xué)習(xí)過程建模成馬爾科夫過程，通過智能體和環(huán)境的互相交互，通過最大化長(zhǎng)期累積的獎(jiǎng)賞來訓(xùn)練模型。與環(huán)境交互時(shí)會(huì)產(chǎn)生軌跡，如果將知識(shí)圖譜建模為一個(gè)強(qiáng)化學(xué)習(xí)的過程，那么既可以得到推理的結(jié)果，也可以得到推理的路徑，通過推理路徑來解釋知識(shí)圖譜推理。

3. 基于強(qiáng)化學(xué)習(xí)的知識(shí)圖譜推理

具體的融合方法是將知識(shí)圖譜視為一個(gè)環(huán)境，將智能體建模成一個(gè)深度神經(jīng)網(wǎng)絡(luò)，結(jié)合符號(hào)主義和連接主義的優(yōu)缺點(diǎn)，做到取長(zhǎng)補(bǔ)短，讓模型同時(shí)具備神經(jīng)網(wǎng)絡(luò)的泛化性能和路徑可解釋性，同時(shí)由于深度強(qiáng)化學(xué)習(xí)是一個(gè)序列過程，可以處理多跳推理的過程。

04 近期研究

1. 基于層次強(qiáng)化學(xué)習(xí)的知識(shí)圖譜推理

第一個(gè)進(jìn)行的工作就是基于層次強(qiáng)化學(xué)習(xí)的知識(shí)圖譜推理模型。

其研究的背景是解決知識(shí)圖譜多語義問題。以圖為例，將 FreeBase 知識(shí)圖譜中的實(shí)體用 TransE 進(jìn)行預(yù)訓(xùn)練，將相關(guān)聯(lián)的實(shí)體相減得到關(guān)系的表示，將表示進(jìn)行 PCA 降維可視化，可以看到關(guān)系具有多個(gè)語義簇，代表關(guān)系模型在預(yù)訓(xùn)練模型中出現(xiàn)的模式。多個(gè)語義簇會(huì)造成歧義的現(xiàn)象，造成推理準(zhǔn)確率下降。

如何解決知識(shí)圖譜推理多語義問題呢？結(jié)合近期神經(jīng)科學(xué)的發(fā)現(xiàn)，發(fā)表在 Science 上的文章表明人類或高級(jí)動(dòng)物其決策的過程是一個(gè)分層推理的過程，是一個(gè)潛意識(shí)的過程，通過多次觀察、多次推理，逐步去消解多語義和歧義，來得到推理的結(jié)構(gòu)。分層決策的機(jī)制是認(rèn)知過程的核心機(jī)制，是該論文的結(jié)論。例如，人在識(shí)別一只金絲猴的過程中的一個(gè)潛意識(shí)過程是先識(shí)別是一個(gè)動(dòng)物，是一個(gè)靈長(zhǎng)目的動(dòng)物，再識(shí)別它是一只金絲猴。這是一個(gè)從高水平到低水平、從概念上粗粒度到細(xì)粒度的過程，該過程就是一個(gè)分層的機(jī)制。

分層強(qiáng)化學(xué)習(xí)與傳統(tǒng)強(qiáng)化學(xué)習(xí)模型的區(qū)別是，分層強(qiáng)化學(xué)習(xí)將決策空間進(jìn)行了進(jìn)一步的結(jié)構(gòu)化，將問題分解為若干個(gè)子問題來進(jìn)行決策。分層強(qiáng)化學(xué)習(xí)更像人類思維，能夠提高知識(shí)推理的準(zhǔn)確度，解決多語義問題。

具體實(shí)現(xiàn)分層強(qiáng)化學(xué)習(xí)的方法是設(shè)計(jì)兩個(gè)互相嵌套的強(qiáng)化學(xué)習(xí)，一個(gè)是高層次的策略函數(shù)，一個(gè)是低層次策略函數(shù)。高層次策略控制知識(shí)圖譜實(shí)體間的狀態(tài)轉(zhuǎn)移，低層次策略控制語義簇之間的轉(zhuǎn)移，語義簇是用 TransE 的嵌入來構(gòu)建。

具體來講，高水平策略函數(shù)是一個(gè)基于 GRU 的可以保存歷史向量的策略函數(shù)，其獎(jiǎng)賞函數(shù)是一個(gè)γ衰減的獎(jiǎng)賞函數(shù)。低水平策略函數(shù)是一個(gè)將狀態(tài)空間層次化分解的過程，其獎(jiǎng)賞函數(shù)是一個(gè) 0、1 獎(jiǎng)賞。

其訓(xùn)練的目標(biāo)是使其獎(jiǎng)賞最大化，利用梯度策略優(yōu)化來訓(xùn)練模型。由于該模型高水平策略和低水平策略互相嵌套的模型，使用交替固定優(yōu)化的方式，通過蒙特卡洛采樣軌跡的方式來訓(xùn)練推理模型。

使用的評(píng)價(jià)指標(biāo)是平均準(zhǔn)確率、平均排序分?jǐn)?shù)和 Hit@X。數(shù)據(jù)集是常識(shí)知識(shí)圖譜 FB15K、NELL995、WN18RR，其中 FB15K 的多語義現(xiàn)象比較嚴(yán)重。

進(jìn)行鏈接預(yù)測(cè)的實(shí)驗(yàn)，圖為實(shí)體預(yù)測(cè)的實(shí)驗(yàn)結(jié)果，可以發(fā)現(xiàn)模型在大部分?jǐn)?shù)據(jù)集上表現(xiàn)的都比較好，同時(shí)在多語義的數(shù)據(jù)集上表現(xiàn)的更好一點(diǎn)。

第二個(gè)是事實(shí)預(yù)測(cè)的實(shí)驗(yàn)，給定兩個(gè)實(shí)體，預(yù)測(cè)它們之間是否存在某種關(guān)系，是一個(gè)二分類的問題，模型在 FB15K-237 上表現(xiàn)更好一些。

分層強(qiáng)化推理可以提供可解釋性的推理路徑，如圖，在推理過程中相比于 MINERVA可以提供更好的推理路徑。

小結(jié)：提出了一個(gè)分層強(qiáng)化學(xué)習(xí)的知識(shí)推理模型，這個(gè)模型模仿了人類的思維方法，這個(gè)模型可以學(xué)習(xí)到知識(shí)圖譜中關(guān)系的層次化語義簇，從而有助于解決推理過程的多語義問題。實(shí)驗(yàn)表明，這個(gè)模型可以在標(biāo)準(zhǔn)的數(shù)據(jù)集上取得競(jìng)爭(zhēng)性的結(jié)果，在多語義問題上表現(xiàn)更好。該工作發(fā)表于 2020 年 IJCAI 上。