|
談AI的歷史，需要談?wù)労苡忻腁I寒冬。 第一次AI寒冬是在1975年左右。1956年，在達特茅斯會(huì )議之后，包括很多國家政府，美國國家科學(xué)基金會(huì )、軍方，大家滿(mǎn)懷希望投了很多錢(qián)。但是到1975年以后發(fā)生了幾件事情，讓AI進(jìn)入了寒冬。 第一件事是，因為AI只能解決Toy domain（擺弄玩具一樣的簡(jiǎn)單任務(wù)）。那個(gè)時(shí)候做語(yǔ)音，只有10個(gè)詞匯；下象棋，大概是20個(gè)詞匯；做視覺(jué)的人，都不能辨認出一個(gè)椅子。第二件事情，1956年美國打越戰，還有石油危機，所以經(jīng)濟也不是那么好；還有一個(gè)很有名的英國學(xué)者Lighthill，說(shuō)AI就是在浪費錢(qián)，AI的研究經(jīng)費也因此遭到大幅削減（編者注：在1973年出版的“人工智能：一般性的考察”的報告，俗稱(chēng)Lighthill報告中稱(chēng)“迄今該領(lǐng)域沒(méi)有哪個(gè)部分做出的發(fā)現產(chǎn)生了像之前承諾的那樣的重要影響”。英國政府隨后停止了對三所大學(xué)Edinburgh, Sussex和Essex的AI研究資助）。 到1980年開(kāi)始，有些公司如IBM開(kāi)始做一些專(zhuān)家系統，可以說(shuō)也是有限的應用。盡管有一些缺點(diǎn)，但還是可以做一些事情，據說(shuō)有十個(gè)億的產(chǎn)出。因此，AI也就開(kāi)始回春。我也是這個(gè)時(shí)候開(kāi)始進(jìn)入AI，所以也蠻幸運的。 我是80年代去美國CMU（卡內基梅隆大學(xué)）的。我記得當時(shí)日本很有錢(qián)，到處在美國買(mǎi)樓、建實(shí)驗室，所以當時(shí)日本提出了一個(gè)第五代電腦系統計劃（5th generation computer Systems，FGCS）。當時(shí)還有公司專(zhuān)門(mén)做 Lisp Machines（通過(guò)硬件支持為了有效運行Lisp程序語(yǔ)言而設計的通用電腦）。就有點(diǎn)像今天DNA紅，大家都在做DNA芯片，那時(shí)候大家都在做Lisp Machines，Thinking( Connection )Machines，然后神經(jīng)網(wǎng)絡(luò )也剛開(kāi)始發(fā)芽。 不過(guò)，到1990年中，AI又第二次遇冷，為什么會(huì )這樣？因為第五代計劃失敗，Lisp Machines和Thinking ( Connection ) Machines都做不出來(lái)；而神經(jīng)網(wǎng)絡(luò )，雖然有意思，但并沒(méi)有比其他一些統計的方法做得好，反而用的資源還更多，所以大家覺(jué)得也沒(méi)什么希望了，于是AI又進(jìn)入第二個(gè)冬天。 1990年代統計路徑的顯現 差不多在冬天這個(gè)時(shí)刻，統計的方法，使用數據的方法出現了。 AI在1990年以前都是用所謂的研究人腦的方式來(lái)做；而我們有太多理由來(lái)相信人腦不是靠大數據的。比如，給一個(gè)小孩子看狗和貓，看幾只他就可以辨認了�？捎媒裉斓姆椒�，要給計算機看幾十萬(wàn)、幾百萬(wàn)只狗跟貓的圖片，它才能辨認是狗還是貓。用大數據這種方法，就在第一次AI寒冬和第二次AI寒冬之間開(kāi)始萌芽。雖然AI是一批計算機科學(xué)家搞出來(lái)的，但事實(shí)上有跟AI極其相關(guān)的一門(mén)叫模式識別。模式識別一直以來(lái)都有工程師在做，從1940年代統計學(xué)家就在做模式識別。 我們這代人學(xué)計算機就知道兩個(gè)人，一個(gè)人叫傅京孫（K. S. Fu），另外一個(gè)人叫竇祖烈（Julius T. Tou）。如果AI選出60個(gè)人的名人堂，里面會(huì )有一個(gè)叫傅京孫，那是大牛。傅京孫嚴格上來(lái)講他不算AI，但是可以包括進(jìn)來(lái)，因為他也做模式識別。模式識別里面也有兩派，一派叫統計模式識別（Statistical Pattern Recognition），一派叫做句法模式識別（Syntactic Pattern Recognition）。80年代的時(shí)候，句法是很紅的，統計人無(wú)人問(wèn)津，后來(lái)1990年以后大家都用統計。 我們做語(yǔ)音的人很清楚，后來(lái)引入了隱馬爾可夫模型（Hidden Markov Model），都是統計的方法，到今天還是很有用。尤其是在華爾街，做金融投資，做股票，很多都是做時(shí)間序列（time series data），而隱馬爾可夫模型這個(gè)東西是很強大的。甚至可以說(shuō)，統計的方法是我們做語(yǔ)音的人（發(fā)展起來(lái)的）。而且早在1980年，我們做語(yǔ)音的人就講出這句話(huà)“There is no data like more data（沒(méi)有什么樣的數據比得上更多的數據）”。從現在的角度來(lái)看，這是非常前瞻性的，而且就是大數據的概念。我們那個(gè)時(shí)代的數據量無(wú)法和現在相比，但我們已經(jīng)看出來(lái)了數據的重要。而且IBM在這方面是了不起的，他們一個(gè)做語(yǔ)音的經(jīng)理有次說(shuō)，每次我們加一倍的數據，準確率就往上升；我們每炒掉一個(gè)語(yǔ)言學(xué)家，準確率也上去。 決策樹(shù)也是第一個(gè)被語(yǔ)音研究者所使用。然后就是貝葉斯網(wǎng)絡(luò )（Bayesian Network），幾年前紅得不得了，當然現在都是用深度學(xué)習網(wǎng)絡(luò )（deep neural network, DNN，在輸入和輸出之間有多個(gè)隱含層的人工神經(jīng)網(wǎng)絡(luò )）了。我為什么要提這些東西？今天我覺(jué)得很多人上AI的課，可能75%、80%都會(huì )講DNN，其實(shí)AI還是有其它東西的。 今天要教AI也是非常困難的。我還特別看了一下最近的AI教科書(shū)，像吳恩達等人的。他們學(xué)術(shù)界教AI，還會(huì )教這些東西，但是如果去一般或者大多數公司，全部都是在講DNN。我覺(jué)得現在找不到一本好的AI教科書(shū)，因為早期的書(shū)統計沒(méi)有講，或者沒(méi)有講DNN。我也看了下加州大學(xué)伯克利分校的Stuart J. Russell 跟Peter Norvig寫(xiě)的教科書(shū)（Artificial Intelligence: A Modern Approach），里面DNN提了一點(diǎn)�？赡墁F在也不好寫(xiě)AI，因為AI提了這么多東西，人家說(shuō)根本沒(méi)用，不像DNN的確很有用。 我稍微解釋一下DNN和一般統計方法的差別。統計的方法一定要有一個(gè)模型，但是模型一定是要有假設。而你的假設多半都是錯的，只能逼近這個(gè)模型。數據不夠的時(shí)候，一定要有一定的分布。當數據夠了，DNN的好處是完全靠數據（就可以），當然也需要很大的計算量。所以DNN的確有它的優(yōu)點(diǎn)。以前我們用統計的方法做，還要做特征提取，用很多方法相當于做了一個(gè)簡(jiǎn)易的知識表示；現在用DNN連特征提取都不用做了，只用原初數據進(jìn)去就解決了。所以現在講AI不好講的原因是，DNN講少了也不對，講多了的話(huà)，說(shuō)實(shí)在的，全是DNN也有問(wèn)題。 神經(jīng)網(wǎng)絡(luò )的起伏 最早的神經(jīng)網(wǎng)絡(luò )叫感知器（Perceptron），跟第一個(gè)寒冬有關(guān)。因為一開(kāi)始的感知器沒(méi)有隱含層（hidden layer），也沒(méi)有激活函數（activation function），結果Marvin Minsky和Seymour Papert這兩位就寫(xiě)了一本書(shū)《感知器》說(shuō)，感知器連異或（XOR）都做不出來(lái)。那么，做感知器還有什么用？所以基本上就把整個(gè)神經(jīng)網(wǎng)絡(luò )第一代的進(jìn)展扼殺了。 
►感知器連最簡(jiǎn)單的邏輯運算“異或”都無(wú)法做到，某種程度上導致了AI的寒冬 其實(shí)后來(lái)人們發(fā)現誤會(huì )了，其實(shí)書(shū)并沒(méi)有說(shuō)的那么強，不過(guò)的確造成了很大的影響。一直到1980年，做認知心理學(xué)的人，代表性的如Rumelhart和Hinton才復興了AI。 Hinton早期是做認知心理學(xué)的。Hinton先在UCSB（加利福尼亞大學(xué)圣巴巴拉分校），后來(lái)到了CMU。Rumelhart, Hinton and McClelland復興了多層的感知器，加了隱含層以及back-propagation 算法，這個(gè)時(shí)候神經(jīng)網(wǎng)絡(luò )就復興了。而且神經(jīng)網(wǎng)絡(luò )只要加上隱含層，事實(shí)上，只要加一層，再加上激活函數，就可以模擬，甚至還有人證明可以模擬任意的函數，所以神經(jīng)網(wǎng)絡(luò )一下子就變的紅了。卷積神經(jīng)網(wǎng)絡(luò )（Convolutional NN，CNN）那時(shí)候就開(kāi)始出來(lái)了，然后是遞歸神經(jīng)網(wǎng)絡(luò )（Recurrent neural network，RNN）。因為如果要處理過(guò)往的歷史，有存儲, 就需要回溯。用于語(yǔ)音和自然語(yǔ)言處理的時(shí)間延遲的神經(jīng)網(wǎng)絡(luò )（Time-Delayed NN，TDNN）也都有了。 不過(guò)，那時(shí)候數據不夠多。數據不夠多就很容易以偏概全。第二個(gè)因素是，計算的資源不夠，所以隱含層也加不了太多。這樣，神經(jīng)網(wǎng)絡(luò )雖然大家都很有興趣，也能夠解決問(wèn)題，但是卻有更簡(jiǎn)單的統計方法，如支持向量機（Support vector machine，SVM），能夠做到一樣或者略好。所以在1990年代就有了AI的第二次冬天，直到DNN的出現才又復蘇。 AI的復蘇 AI的復蘇，可能要從1997年開(kāi)始說(shuō)起。1997年，深藍打敗了國際象棋冠軍Garry Kasparov。這里我要提一下一個(gè)人叫許峰雄。他當時(shí)在CMU做一個(gè)當時(shí)叫做深思（deep thought）的項目，基本上架構都有了。結果，IBM非常聰明。他們到CMU參觀(guān)，看到許峰雄這個(gè)組。然后也沒(méi)花多少錢(qián)，最多兩百萬(wàn)，就買(mǎi)下了這個(gè)組，讓這些人到IBM做事。IBM當時(shí)就看到，在五年之內就可以打敗世界冠軍，其實(shí)真正的貢獻都是在CMU做的。許峰雄后來(lái)也離開(kāi)了IBM，加入了我們，一直做到退休。AI復蘇的實(shí)際上才剛開(kāi)始。有人說(shuō)這個(gè)也沒(méi)有幫助到AI復蘇，因為深藍可以打敗國際象棋的冠軍，也不是算法特別了不起，而是因為他們做了一個(gè)特殊芯片可以算得很快。當然，AlphGo也算得很快，算得很快永遠是非常重要的。 到了2011年，IBM做了一個(gè)問(wèn)題回答機器叫沃森（Watson），打敗了Jeopardy游戲的冠軍。Jeopardy這個(gè)游戲其實(shí)也很無(wú)聊，有一點(diǎn)像記憶的游戲：?jiǎn)?wèn)一個(gè)常識的問(wèn)題，給四個(gè)選項。其實(shí)沃森打敗人也沒(méi)什么了不起的。 到2012年，AI的復蘇就已非常明顯。機器學(xué)習和大數據挖掘變成了主流，幾乎所有的研究都要用，雖然還不叫AI。事實(shí)上很長(cháng)一段時(shí)間，包括我們做語(yǔ)音和圖像，對外都不講AI。因為AI這個(gè)名字那時(shí)變得有點(diǎn)名聲不好。人們一說(shuō)起AI，就是不起作用。第二次AI寒冬的時(shí)候，只要聽(tīng)說(shuō)某個(gè)人是做AI，那就認為他做不成。其實(shí)機器學(xué)習是AI的一支。
►從左至右：Yann LeCun，Geoff Hinton, Yoshua Bengio, 吳恩達 現在回到深度學(xué)習，有三個(gè)人物對深度學(xué)習做出了很大貢獻。第一位，Hinton。這個(gè)人非常了不起。了不起之處在于當沒(méi)有人在乎神經(jīng)網(wǎng)絡(luò )的時(shí)候，他還在孜孜不倦的做這個(gè)東西。第二個(gè)做CNN的人物是Yann LeCun。他也是做CNN一輩子，在A(yíng)I冬天的時(shí)候繼續做，所以今天很多CNN該怎么用來(lái)自于Yann LeCun。另外一個(gè)叫做Yoshua Bengio。所以，現在還有人在排中國十大AI領(lǐng)軍人物，我覺(jué)得很搞笑。我覺(jué)得誰(shuí)在外面講AI，或者搞個(gè)公司，他們和科學(xué)家是兩回事，科學(xué)家是在別人以為冬天的時(shí)候還在做。 所以今天講到DNN、講到AI，沒(méi)有前人的種樹(shù)，就沒(méi)有后人的乘涼。這61年的發(fā)展，這些辛苦耕耘的人，大家需要記住這些人。今天在臺面上講AI的人都是收成果實(shí)的人，講自己對AI有什么貢獻，我覺(jué)得就太過(guò)了。 還有一個(gè)跟AI有關(guān)的，大家記得Xbox幾年前有一個(gè)叫Kinect，可以在玩游戲的時(shí)候用這個(gè)東西，我覺(jué)得這是第一個(gè)發(fā)布的主流的動(dòng)作和語(yǔ)音感知設備。當然之后就有2011年蘋(píng)果的Siri，2012年Google語(yǔ)音識別的產(chǎn)品，以及微軟2013年產(chǎn)品，這些都是AI的復蘇。直到2016年，AlphaGo打敗了李世石，打敗了柯杰，AI就徹底復蘇了。 今天的AI DNN、DNN還是DNN。 我不是有意要貶低DNN的重要性，但如果說(shuō)DNN代表了所有的智慧也言過(guò)其實(shí)。DNN絕對非常有用，比如機器視覺(jué)，會(huì )有CNN；自然語(yǔ)言或者語(yǔ)音的，就有RNN，長(cháng)短時(shí)記憶（Long Short-Term Memory，LSTM）。計算機視覺(jué)里面有一個(gè)圖片集imageNet。我們很榮幸在幾乎兩年前，微軟在該圖片集上辨認物體可以跟人做得一樣好，甚至超過(guò)人。 語(yǔ)音也是一樣，微軟在差不多一年前，在Switchboard，在任意的一個(gè)任務(wù)里面也超過(guò)了人類(lèi)。機器翻譯我相信大家都常用，可能是每天用。甚至看起來(lái)好像有創(chuàng )造性的東西也出現了，比如小冰可以寫(xiě)詩(shī)。我也看到很多電腦畫(huà)出來(lái)的畫(huà)，電腦做出來(lái)的音樂(lè )，都表現的好像也有創(chuàng )造力一樣。 不過(guò)，雖然AI很紅，機器學(xué)習，大數據大家都聽(tīng)過(guò)，特別是做學(xué)問(wèn)的人還聽(tīng)過(guò)大數據挖掘，那么這三者有多大的差別？我常說(shuō)這三個(gè)東西不完全一樣，但是今天這三個(gè)的重復性可能超過(guò)90%。所以到底是AI紅，還是大數據紅呢？還是機器學(xué)習紅呢？我覺(jué)得有那么重要嗎？ 來(lái)源：知識分子 作者：洪小文 |
