|
新智元報道 來(lái)源：Medium，AI Frontiers 編譯：三石 提及谷歌大腦、seq2seq、AutoML，許多人已是耳熟能詳。在成功的背后，定是有許多研究人員的默默付出。而Quoc Le就是其中一位，堪稱(chēng)谷歌真正的“隱藏人物”、幕后英雄！ 他，是真正的幕后英雄！ 瘦弱的身材，安靜的性格，戴著(zhù)一副厚厚的眼鏡，你絕對猜不到如此其貌不揚的Quoc Le，正式引領(lǐng)人工智能革命的領(lǐng)軍人物之一。 2011年，Le和他的博士生導師Andrew Ng、谷歌同時(shí)Jeff Dean和谷歌研究員Greg Corrado，共同創(chuàng )建了谷歌大腦（Google Brain）。目標是在谷歌龐大的數據背景下探索深度學(xué)習。在此之前，Le在斯坦福大學(xué)開(kāi)展了一些關(guān)于無(wú)監督深度學(xué)習的開(kāi)創(chuàng )性工作。 2012年，Le在ICML上發(fā)表了一篇文章，引起了人們對深度學(xué)習的濃厚興趣：他開(kāi)發(fā)了一種深度神經(jīng)網(wǎng)絡(luò )模型，可以根據Youtube上的1000萬(wàn)張數字圖像以及ImageNet數據集中的3000多個(gè)對象來(lái)識別貓。這個(gè)巨型系統由16000臺機器和10億個(gè)突觸組成，是以往研究規模的100倍。同年，Le又發(fā)表了關(guān)于A(yíng)lexNet的論文，對整個(gè)深度學(xué)習領(lǐng)域產(chǎn)生了牽引力。 雖然后來(lái)證明無(wú)監督學(xué)習方法對于商業(yè)用途是不切實(shí)際的（至少在那段時(shí)間），但Le在2015年《Wired》采訪(fǎng)中表示，“如果我們能挖掘一種算法來(lái)解決這個(gè)問(wèn)題就太好不過(guò)了，因為實(shí)際的情況是，我們無(wú)標記的數據遠遠多于有標記的數據�！� 從“序列”到“序列學(xué)習” Le在2013年畢業(yè)后正式加入谷歌，成為一名研究科學(xué)家，很快就在機器翻譯領(lǐng)域取得了驚人的突破（機器翻譯是機器學(xué)習領(lǐng)域最活躍的研究領(lǐng)域之一）。 為了實(shí)現這一結果，他必須超越已有深度學(xué)習的方法，這些方法適用于圖像和語(yǔ)音，可以使用固定大小的輸入進(jìn)行分析。 而對于自然語(yǔ)言，句子的長(cháng)度各不相同，詞語(yǔ)的順序也很重要。 2014年，Le與谷歌研究人員Ilya Sutskever和Oriol Vinyals一起提出了序列到序列(seq2seq)學(xué)習。它是一個(gè)通用的encoder-decoder框架，訓練模型將序列從一個(gè)域轉換到另一個(gè)域（例如不同語(yǔ)言之間的句子）。 seq2seq學(xué)習在工程設計選擇方面的需求較少，并允許Google翻譯系統高效準確地處理非常大的數據集。 它主要用于機器翻譯系統，并被證明適用于更廣泛的任務(wù)，包括文本摘要，會(huì )話(huà)AI和問(wèn)答。 
Le進(jìn)一步發(fā)明了doc2vec，這是一種非監督算法，它從句子、段落和文檔等不同長(cháng)度的文本片段中學(xué)習固定長(cháng)度的特征表示。Doc2vec是word2vec的擴展，word2vec于2013年由谷歌成員Tomas Mikolov發(fā)布。其思想是每個(gè)單詞都可以用一個(gè)向量表示，這個(gè)向量可以從集合文本中自動(dòng)學(xué)習。Le添加了段落向量，因此模型可以生成文檔的表示形式，從而不考慮文檔的長(cháng)度。 Le的研究最終得到了回報。在2016年，谷歌宣布了神經(jīng)機器翻譯系統，它利用AI進(jìn)行學(xué)習，能夠得到更好更自然的翻譯。 2015年，Le在榮登MIT Technology Review的“35歲以下創(chuàng )新者”排行榜，因為他的目標是“讓軟件變得更智能，幫助人們提高生活品質(zhì)”。 AutoML：神經(jīng)網(wǎng)絡(luò )學(xué)習自我提升 訓練深層神經(jīng)網(wǎng)絡(luò )需要大量的標記數據和反復的實(shí)驗:選擇一個(gè)架構，構建隱含層，并根據輸出調整權重。對于機器學(xué)習專(zhuān)業(yè)知識有限的人來(lái)說(shuō)，訓練過(guò)程時(shí)既費時(shí)又費力的。 2016年，Le和另一位谷歌同事Barret Zoph提出了神經(jīng)結構搜索。他們使用一個(gè)循環(huán)網(wǎng)絡(luò )來(lái)生成神經(jīng)網(wǎng)絡(luò )的模型描述，并通過(guò)強化學(xué)習來(lái)訓練這個(gè)RNN，以最大限度地提高在驗證集上生成的體系結構的預期精度。 這種新方法可以幫助研究人員設計一種新的網(wǎng)絡(luò )體系結構，在CIFA-10數據集的測試集精度方面與人類(lèi)發(fā)明的最佳體系結構相匹配。一年后，Le和Zoph將他們的研究提升到了一個(gè)新的高度，他們提出了NASNet-A，一個(gè)可移植的大型圖像數據集架構。
Le的研究為AutoML奠定了基礎，AutoML是一套谷歌產(chǎn)品，專(zhuān)為缺乏機器學(xué)習經(jīng)驗和資源的開(kāi)發(fā)人員設計的。 然而，在早期階段，AutoML是用于解決現實(shí)問(wèn)題的：數據科學(xué)家使用AutoML建立了一個(gè)基于面條圖像識別餐廳的模型，準確度幾乎達到95％; 日本開(kāi)發(fā)人員使用AutoML構建了一個(gè)可以使用其品牌名稱(chēng)對圖像進(jìn)行分類(lèi)的模型。 在過(guò)去的六年里，Le一直處于深度學(xué)習發(fā)展的前沿。這位36歲的谷歌研究科學(xué)家現在準備將深度學(xué)習提升到一個(gè)新的高度。 |
