導(dǎo)讀

ChatGPT的橫空出世萬眾矚目，但我們不應(yīng)忘記在它背后默默無聞的天才。Ilya Sutskever是OpenAI的聯(lián)合創(chuàng)始人和首席科學(xué)家。正是在他的領(lǐng)導(dǎo)下，OpenAI在開發(fā)尖端技術(shù)和推動人工智能領(lǐng)域的發(fā)展方面取得了重大進展。在這篇文章中，我們將探討二十年間，Sutskever是如何從一個年輕的研究人員一步步走到人工智能領(lǐng)域的領(lǐng)導(dǎo)人物之一的。無論你是人工智能愛好者，還是研究人員，或者僅僅是對這一領(lǐng)域的內(nèi)部運作感到好奇的人，這篇文章都會提供寶貴的觀點和信息。
本文編譯自https://journeymatters.ai/ilya-the-brain-behind-chatgpt/作者/Munish Gandhi    編譯/牛夢琳，李夢佳

本文遵循以下時間線： 

2003: Ilya Sutskever的拜師之旅

2011: 初識AGI

2012: 圖像識別的革命

2013: 將DNNresearch拍賣給谷歌

2014: 語言翻譯的革命

2015: 從谷歌到OpenAI：人工智能的新篇章

2018: GPT 1、2和3

2021: 開發(fā)DALL-E 1

2022年：向世界揭開ChatGPT的面紗

Ilya Sutskever

OpenAI的聯(lián)合創(chuàng)始人和首席科學(xué)家，2005年畢業(yè)于多倫多大學(xué)，2012年獲得CS博士學(xué)位。2012年至今，他曾先后就職于斯坦福大學(xué)，DNNResearch，Google Brain，從事機器學(xué)習(xí)與深度學(xué)習(xí)的相關(guān)研究，并于2015年放棄谷歌的高薪職位，與Greg Brockman等人聯(lián)合創(chuàng)建了OpenAI，在OpenAI主導(dǎo)了GPT-1，2，3以及DALLE系列模型的研發(fā)。2022年，他入選英國皇家科學(xué)學(xué)會院士。他是人工智能領(lǐng)域的先驅(qū)，在塑造人工智能的當(dāng)前格局方面發(fā)揮了重要作用，并在繼續(xù)推動機器學(xué)習(xí)的可能性的界限。他對人工智能的熱情讓他的開創(chuàng)性研究熠熠生輝，也由此塑造了深度學(xué)習(xí)和機器學(xué)習(xí)領(lǐng)域的發(fā)展歷程。

2003:

對Ilya Sutskever的初印象

在多倫多大學(xué)讀本科時，Sutskever想加入Geoffrey Hinton教授的深度學(xué)習(xí)實驗室。于是，他在某一天直接敲開了Hinton教授辦公室的門，詢問自己是否可以加入實驗室。教授讓他提前預(yù)約，但Sutskever不想再浪費時間，所以他立即問："就現(xiàn)在怎么樣？"

Hinton意識到Sutskever是一個敏銳的學(xué)生，于是給了他兩篇論文讓他閱讀。一周后，Sutskever回到教授辦公室，然后告訴教授他不理解。
“為什么不理解？”教授問。Sutskever解釋說：“人們訓(xùn)練神經(jīng)網(wǎng)絡(luò)來解決問題，當(dāng)人們想解決不同問題時，就得用另外的神經(jīng)網(wǎng)絡(luò)重新開始訓(xùn)練。但我認為人們應(yīng)該有一個能夠解決所有問題的神經(jīng)網(wǎng)絡(luò)。"

這段話展示了Sutskever得出結(jié)論的獨特能力，而這種能力即使是有經(jīng)驗的研究人員也需要花費數(shù)年時間才能找到，Hinton于是向他發(fā)出邀請，希望他加入自己的實驗室。

2011: 初識AGI

Sutskever：我不認同這個想法（AGI）

Sutskever還在多倫多大學(xué)時，曾飛到倫敦去DeepMind找工作。在那里他見到了Demis Hassabis 和 Shane Legg（DeepMind的聯(lián)合創(chuàng)始人），他們正在建立AGI（Artificial General Intelligence，人工通用智能）。AGI是一種通用的人工智能，它能夠像人類一樣思考和推理，并完成與人類智能相關(guān)的各種任務(wù)，如理解自然語言，從經(jīng)驗中學(xué)習(xí)，做出決定，以及解決問題。

在當(dāng)時，AGI并不是嚴(yán)肅的研究人員會談?wù)摰臇|西。Sutskever也認為他們已經(jīng)與現(xiàn)實脫節(jié)，所以他拒絕了這份工作，回到了大學(xué)，最終于2013年加入了谷歌。

2012: 圖像識別革命

ImageNet競賽中獲勝

Geoffrey Hinton慧眼獨具，在其他人都不相信的時候相信了深度學(xué)習(xí)。并且他堅信，在ImageNet競賽中獲得成功就會徹底解決這一爭論。

ImageNet競賽：斯坦福大學(xué)的實驗室每年都會舉辦ImageNet競賽。他們?yōu)閰①愓咛峁┝艘粋€由精心標(biāo)記的照片組成的龐大數(shù)據(jù)庫，來自世界各地的研究人員都會來參加比賽，嘗試創(chuàng)建一個能夠識別最多的圖像的系統(tǒng)。

Hinton的兩個學(xué)生，伊利亞-蘇茨克沃（Ilya Sutskever）和亞歷克斯-克里切夫斯基（Alex Krizhevsky）參加了這個比賽。他們打破了傳統(tǒng)的手工設(shè)計方案，采用了深度神經(jīng)網(wǎng)絡(luò)，并突破了75%的準(zhǔn)確率大關(guān)。因此他們贏得了ImageNet競賽，他們的系統(tǒng)后來被命名為AlexNet。

從那時起，圖像識別領(lǐng)域煥然一新。

后來，Sutskever、Krizhevsky和Hinton發(fā)表了一篇關(guān)于AlexNet的論文，這篇論文成為計算機科學(xué)領(lǐng)域被引用次數(shù)最多的論文之一，總共被其他研究人員引用了6萬多次。

2013: 將DNNresearch拍賣給谷歌

Sutskever&Krizhevsky：您值得更大比例的分紅。Hinton：你們分我的錢太多了。Sutskever&Krizhevsky：但我們已經(jīng)決定好了，讓您占大頭。Hinton：這體現(xiàn)了他們的人品。

Hinton與Sutskever，Krizhevsky一起，成立了一家名為DNNresearch的新公司。他們沒有任何產(chǎn)品，也沒有在未來打造任何產(chǎn)品的計劃。

Hinton問律師，如何讓他的新公司具有最大的價值，盡管目前只有三名員工，既沒有產(chǎn)品，也沒有底蘊。律師給他的選擇之一是設(shè)立一個拍賣會。有四家公司參與了收購：百度、谷歌、微軟和DeepMind（當(dāng)時還是一家年輕的起步于倫敦的創(chuàng)業(yè)公司）。第一個退出的是DeepMind，其次是微軟，最后只剩下百度和谷歌在競爭。

到某天晚上接近午夜時分，拍賣價格高達4400萬美元，Hinton于是暫停了競標(biāo)并且去睡了一覺。第二天，他宣布拍賣結(jié)束，并以4400萬美元將他的公司賣給了谷歌，他認為為他的研究找到合適的“家”更重要。在這一點上，Hinton和他的學(xué)生們一樣，把他們的想法置于經(jīng)濟利益之上。

平分收益的時候，Sutskever和Krizhevsky堅持認為Hinton應(yīng)該得到更大的份額（40%），盡管Hinton建議他們不如先睡一覺。第二天，他們?nèi)匀粓猿诌@種分配方式。Hinton后來評論說：“這能體現(xiàn)他們的為人，而非我的”。

在這之后，Sutskever成為了谷歌大腦的研究科學(xué)家，他的想法產(chǎn)生了更大的變化，并開始與DeepMind創(chuàng)始人的想法逐漸一致。他開始相信，屬于AGI的未來就在眼前。當(dāng)然，Sutskever本人也從不畏懼在面對新信息或經(jīng)驗時改變主意。畢竟相信AGI需要的是信仰之躍，正如謝爾蓋-萊文（Sergey Levine，Sutskever在谷歌的同事）對Sutskever的評價：“他是一個不害怕‘相信’的人。”

2014: 語言翻譯的革命

Sutskever：正確的結(jié)論是，如果你有一個非常大的數(shù)據(jù)集和一個非常龐大的神經(jīng)網(wǎng)絡(luò)，那么取得成功是必然的。（性能最優(yōu)的翻譯器）

在收購了DNNResearch之后，谷歌聘請Sutskever為谷歌大腦的研究科學(xué)家。

在谷歌工作期間，Sutskever發(fā)明了一種神經(jīng)網(wǎng)絡(luò)的變體，能將英語翻譯成法語。他提出了 “序列到序列學(xué)習(xí)”（Sequence to Sequence Learning），它能捕捉到輸入的序列結(jié)構(gòu)（如英語的句子），并將其映射到同樣具有序列結(jié)構(gòu)的輸出（如法語的句子）。

他說，研究人員本不相信神經(jīng)網(wǎng)絡(luò)可以做翻譯，所以當(dāng)它們真的能翻譯時，這就是一個很大的驚喜。他的發(fā)明擊敗了表現(xiàn)最好的翻譯器，為谷歌翻譯提供了重大升級。語言翻譯從此變得不一樣了。

2015: 

從谷歌到OpenAI：人工智能的新篇章

• GPT-1（2018年）：這是該系列的第一個模型，是在一個大規(guī)模的互聯(lián)網(wǎng)文本數(shù)據(jù)集上訓(xùn)練的。它的關(guān)鍵創(chuàng)新之一是使用無監(jiān)督的預(yù)訓(xùn)練，在這種情況下，模型學(xué)習(xí)根據(jù)前面的單詞的上下文來預(yù)測句子中的單詞。這使得該模型能夠?qū)W習(xí)語言結(jié)構(gòu)，并生成類似人類的文本。
• GPT-2（2019年）：在GPT-1的成功基礎(chǔ)上，它在一個更大的數(shù)據(jù)集上進行了訓(xùn)練，產(chǎn)生了一個更強大的模型。GPT-2的主要進步之一是它能夠就廣泛的主題生成連貫和流暢的文本段落，這使它成為了無監(jiān)督語言理解和生成任務(wù)的關(guān)鍵角色。
• GPT-3（2020年）：GPT-3在規(guī)模和性能上都是一個實質(zhì)性的飛躍。它是在一個大規(guī)模的數(shù)據(jù)集上訓(xùn)練的，使用了1750億個參數(shù)，比以前的模型大得多。GPT-3在廣泛的語言任務(wù)上取得了最先進的性能，如問題回答、機器翻譯和總結(jié)，具有接近人類的能力。它還顯示了執(zhí)行簡單的編碼任務(wù)、編寫連貫的新聞文章、甚至生成詩歌的能力。
• GPT-4：預(yù)計很快就會出現(xiàn)，預(yù)計就在2023年。
  

2021: 開發(fā)DALL-E 1

Sutskever還領(lǐng)導(dǎo)OpenAI發(fā)明了DALL-E 1，這是一個由AI驅(qū)動的圖像生成模型。它使用了與GPT模型類似的架構(gòu)和訓(xùn)練過程，但被應(yīng)用于圖像的生成，而非文本。

今天許多主要的圖像生成器--DALL-E 2、MidJourney--在DALL-E 1之后，它們基于類似的變換器架構(gòu)，并在類似的圖像數(shù)據(jù)集和相關(guān)文字說明上進行訓(xùn)練。DALL-E 2和MidJourney都是DALL-E 1后的新進展。 

2022年：向世界揭開ChatGPT的面紗

尾注

如今我們已經(jīng)見證了Sutskever對我們這個世界的影響。很顯然，這僅僅是個開始。