視覺問答作為一種典型的多模態(tài)學習任務，在近年來受到計算機視覺和自然語言處理兩個領域研究人員的重點關注。給定一張圖片和用戶提出的一個自然語言問題，視覺問答系統(tǒng)需要在理解圖片和自然語言問題的基礎上，進一步輸入該問題對應的答案，這需要視覺問答方法在建模中能夠?qū)D像和語言之間的信息進行充分地理解和交互。

　　我們在今年的 CVPR 和 KDD 大會上分別提出了基于問題生成的視覺問答方法(Li et al.， 2018)以及基于場景圖生成的視覺問答方法(Lu et al.， 2018)，這兩種方法均在視覺問答任務上取得了非常好的結果，實現(xiàn)了 state-of-the-art 的效果。除視覺問答外，視頻問答是另一種最近廣受關注的多模態(tài)任務。該任務除了包括帶有時序的視頻信息外，還包括了音頻信息。目前，視頻問答作為一種新型的問答功能，已經(jīng)出現(xiàn)在搜索引擎的場景中?？梢灶A見，該任務在接下來一定還會受到更多的關注。

　　未來展望：理想的 NLP 框架和發(fā)展前景

　　我們認為，未來理想狀態(tài)下的 NLP 系統(tǒng)架構可能是如下一個通用的自然語言處理框架：

　　首先，對給定自然語言輸入進行基本處理，包括分詞、詞性標注、依存分析、命名實體識別、意圖/關系分類等。

　　其次，使用編碼器對輸入進行編碼將其轉化為對應的語義表示。在這個過程中，一方面使用預訓練好的詞嵌入和實體嵌入對輸入中的單詞和實體名稱進行信息擴充，另一方面，可使用預訓練好的多個任務編碼器對輸入句子進行編碼并通過遷移學習對不同編碼進行融合。

　　接下來，基于編碼器輸出的語義表示，使用任務相關的解碼器生成對應的輸出。還可引入多任務學習將其他相關任務作為輔助任務引入到對主任務的模型訓練中來。如果需要多輪建模，則需要在數(shù)據(jù)庫中記錄當前輪的輸出結果的重要信息，并應用于在后續(xù)的理解和推理中。

　　顯然，為了實現(xiàn)這個理想的 NLP 框架需要做很多工作：

　　需要構建大規(guī)模常識數(shù)據(jù)庫并且清晰通過有意義的評測推動相關研究;

　　研究更加有效的詞、短語、句子的編碼方式，以及構建更加強大的預訓練的神經(jīng)網(wǎng)絡模型;

　　推進無監(jiān)督學習和半監(jiān)督學習，需要考慮利用少量人類知識加強學習能力以及構建跨語言的 embedding 的新方法;

　　需要更加有效地體現(xiàn)多任務學習和遷移學習在 NLP 任務中的效能，提升強化學習在 NLP 任務的作用，比如在自動客服的多輪對話中的應用;

　　有效的篇章級建模或者多輪會話建模和多輪語義分析;

　　要在系統(tǒng)設計中考慮用戶的因素，實現(xiàn)用戶建模和個性化的輸出;

　　構建綜合利用推理系統(tǒng)、任務求解和對話系統(tǒng)，基于領域知識和常識知識的新一代的專家系統(tǒng);

　　利用語義分析和知識系統(tǒng)提升 NLP 系統(tǒng)的可解釋能力。

　　未來十年，NLP 將會進入爆發(fā)式的發(fā)展階段。從 NLP 基礎技術到核心技術，再到 NLP+的應用，都會取得巨大的進步。比爾蓋茨曾經(jīng)說過人們總是高估在一年或者兩年中能夠做到的事情，而低估十年中能夠做到的事情。

　　我們不妨進一步想象十年之后 NLP 的進步會給人類生活帶來哪些改變?

　　十年后，機器翻譯系統(tǒng)可以對上下文建模，具備新詞處理能力。那時候的講座、開會都可以用語音進行自動翻譯。除了機器翻譯普及，其他技術的進步也令人耳目一新。家里的老人和小孩可以跟機器人聊天解悶。

　　機器個人助理能夠理解你的自然語言指令，完成點餐、送花、購物等下單任務。你已習慣于客服機器人來回答你的關于產(chǎn)品維修的問題。

　　你登臨泰山發(fā)思古之幽情，或每逢佳節(jié)倍思親，拿出手機說出感想或者上傳一幅照片，一首情景交融、圖文并茂的詩歌便躍然于手機屏幕上，并且可以選擇格律詩詞或者自由體的表示形式，亦可配上曲譜，發(fā)出大作引來點贊。

　　可能你每天看到的體育新聞、財經(jīng)新聞報道是機器人寫的。

　　你用手機跟機器人老師學英語，老師教你口語，糾正發(fā)音，跟你親切對話，幫你修改論文。

　　機器人定期自動分析浩如煙海的文獻，給企業(yè)提供分析報表、輔助決策并做出預測。搜索引擎的智能程度大幅度提高。很多情況下，可以直接給出答案，并且可以自動生成細致的報告。

　　利用推薦系統(tǒng)，你關心的新聞、書籍、課程、會議、論文、商品等可直接推送給你。

　　機器人幫助律師找出判據(jù)，挖掘相似案例，尋找合同疏漏，撰寫法律報告。

　　……

　　未來，NLP 將跟其他人工智能技術一道深刻地改變?nèi)祟惖纳?。當然前途光明、道路曲折是亙古不變的道理，為了實現(xiàn)這個美好的未來，我們需要大膽創(chuàng)新、嚴謹求實、扎實進取。講求研究和應用并舉，普及與提高同步。我們期待著與業(yè)界同仁一道努力，共同走進 NLP 下一個輝煌的十年。