|
來(lái)源：MIT 編輯：新智元報道 張佳 【新智元導讀】MIT的研究人員開(kāi)發(fā)出一種新型 “光子” 芯片，它使用光而不是電，并且在此過(guò)程中消耗相對較少的功率。該芯片用于處理大規模神經(jīng)網(wǎng)絡(luò )的效率比現有的計算機高出數百萬(wàn)倍。模擬結果表明，光子芯片運行光神經(jīng)網(wǎng)絡(luò )的效率是其電子芯片的1000萬(wàn)倍。 神經(jīng)網(wǎng)絡(luò )是一種機器學(xué)習模型，廣泛用于機器人目標識別、自然語(yǔ)言處理、藥物開(kāi)發(fā)、醫學(xué)成像和驅動(dòng)無(wú)人駕駛汽車(chē)等任務(wù)。使用光學(xué)現象加速計算的新型光學(xué)神經(jīng)網(wǎng)絡(luò )可以比其他電子對應物更快、更有效地運行。 但隨著(zhù)傳統神經(jīng)網(wǎng)絡(luò )和光學(xué)神經(jīng)網(wǎng)絡(luò )越來(lái)越復雜，它們消耗了大量的能量。為了解決這個(gè)問(wèn)題，研究人員和包括谷歌、IBM和特斯拉在內的主要科技公司開(kāi)發(fā)了“人工智能加速器”，這是一種專(zhuān)門(mén)的芯片，可以提高培訓和測試神經(jīng)網(wǎng)絡(luò )的速度和效率。 對于電子芯片，包括大多數人工智能加速器，有一個(gè)理論上的最低能耗限制。最近，MIT的研究人員開(kāi)始為光神經(jīng)網(wǎng)絡(luò )開(kāi)發(fā)光子加速器。這些芯片執行數量級的效率更高，但它們依賴(lài)于一些體積龐大的光學(xué)元件，這些元件限制了它們在相對較小的神經(jīng)網(wǎng)絡(luò )中的使用。 在《物理評論X》上發(fā)表的一篇論文中，MIT的研究人員描述了一種新型光子加速器，它使用更緊湊的光學(xué)元件和光信號處理技術(shù)，以大幅降低功耗和芯片面積。這使得芯片可以擴展到神經(jīng)網(wǎng)絡(luò )，比對應的芯片大幾個(gè)數量級。 比傳統電子加速器的能耗極限低1000萬(wàn)倍以上 神經(jīng)網(wǎng)絡(luò )在MNIST圖像分類(lèi)數據集上的模擬訓練表明，加速器理論上可以處理神經(jīng)網(wǎng)絡(luò )，比傳統電子加速器的能耗極限低1000萬(wàn)倍以上，比光子加速器的能耗極限低1000倍左右。研究人員現在正在研制一種原型芯片來(lái)實(shí)驗證明這一結果。 “人們正在尋找一種能夠計算出超出基本能耗極限的技術(shù)，”電子研究實(shí)驗室的博士后Ryan Hamerly說(shuō)：“光子加速器是很有前途的……但我們的動(dòng)機是建造一個(gè)（光子加速器）可以擴展到大型神經(jīng)網(wǎng)絡(luò )�！� 這些技術(shù)的實(shí)際應用包括降低數據中心的能耗�！皩τ谶\行大型神經(jīng)網(wǎng)絡(luò )的數據中心的需求越來(lái)越大，而且隨著(zhù)需求的增長(cháng)，它越來(lái)越難以計算，”合著(zhù)者、電子研究實(shí)驗室的研究生Alexander Sludds說(shuō)，其目的是“利用神經(jīng)網(wǎng)絡(luò )硬件滿(mǎn)足計算需求……以解決能源消耗和延遲的瓶頸”。 與Sludds和Hamerly合寫(xiě)該論文的有：RLE研究生、聯(lián)合作者Liane Bernstein；麻省理工學(xué)院物理教授Marin Soljacic；一名麻省理工學(xué)院電氣工程和計算機科學(xué)副教授Dirk Englund；一名RLE的研究員，以及量子光子學(xué)實(shí)驗室的負責人。 依賴(lài)于一種更緊湊、節能的“光電”方案 神經(jīng)網(wǎng)絡(luò )通過(guò)許多包含互聯(lián)節點(diǎn)（稱(chēng)為“神經(jīng)元”）的計算層來(lái)處理數據，從而在數據中找到模式。神經(jīng)元接收來(lái)自其上游“鄰居”的輸入，并計算一個(gè)輸出信號，該信號被發(fā)送到下游更遠的神經(jīng)元。每個(gè)輸入也被分配一個(gè)“權重”，一個(gè)基于其對所有其他輸入的相對重要性的值。隨著(zhù)數據在各層中“深入”傳播，網(wǎng)絡(luò )逐漸學(xué)習更復雜的信息。最后，輸出層根據整個(gè)層的計算生成預測。 所有人工智能加速器的目標都是減少在神經(jīng)網(wǎng)絡(luò )中的特定線(xiàn)性代數步驟（稱(chēng)為“矩陣乘法”）中處理和移動(dòng)數據所需的能量。在那里，神經(jīng)元和權重被編碼成單獨的行和列表，然后結合起來(lái)計算輸出。 在傳統的光子加速器中，脈沖激光編碼了一個(gè)層中每個(gè)神經(jīng)元的信息，然后流入波導并通過(guò)分束器。產(chǎn)生的光信號被送入一個(gè)稱(chēng)為“Mach-Zehnder 干涉儀”的正方形光學(xué)元件網(wǎng)格中，該網(wǎng)格被編程為執行矩陣乘法。干涉儀用每個(gè)重量的信息進(jìn)行編碼，使用處理光信號和重量值的信號干擾技術(shù)來(lái)計算每個(gè)神經(jīng)元的輸出。但是有一個(gè)縮放問(wèn)題：對于每個(gè)神經(jīng)元，必須有一個(gè)波導管，對于每個(gè)重量，必須有一個(gè)干涉儀。由于重量的數量與神經(jīng)元的數量成正比，那些干涉儀占用了大量的空間。 “你很快就會(huì )意識到輸入神經(jīng)元的數量永遠不會(huì )超過(guò)100個(gè)左右，因為你不能在芯片上安裝那么多的元件，”Hamerly說(shuō)，“如果你的光子加速器不能每層處理100個(gè)以上的神經(jīng)元，那么很難將大型神經(jīng)網(wǎng)絡(luò )應用到這種結構中�！� 研究人員的芯片依賴(lài)于一種更緊湊、節能的“光電”方案，該方案利用光信號對數據進(jìn)行編碼，但使用“平衡零差檢測”進(jìn)行矩陣乘法。這是一種在計算兩個(gè)光信號的振幅（波高）的乘積后產(chǎn)生可測量電信號的技術(shù)。 光脈沖編碼的信息輸入和輸出神經(jīng)元的每個(gè)神經(jīng)網(wǎng)絡(luò )層——用來(lái)訓練網(wǎng)絡(luò )——通過(guò)一個(gè)單一的通道流動(dòng)。用矩陣乘法表中整行權重信息編碼的單獨脈沖通過(guò)單獨的通道流動(dòng)。將神經(jīng)元和重量數據傳送到零差光電探測器網(wǎng)格的光信號。光電探測器利用信號的振幅來(lái)計算每個(gè)神經(jīng)元的輸出值。每個(gè)檢測器將每個(gè)神經(jīng)元的電輸出信號輸入一個(gè)調制器，該調制器將信號轉換回光脈沖。光信號成為下一層的輸入，以此類(lèi)推。 這種設計只需要每個(gè)輸入和輸出神經(jīng)元一個(gè)通道，并且只需要和神經(jīng)元一樣多的零差光電探測器，而不需要重量。因為神經(jīng)元的數量總是遠遠少于重量，這就節省了大量的空間，所以芯片能夠擴展到每層神經(jīng)元數量超過(guò)一百萬(wàn)的神經(jīng)網(wǎng)絡(luò )。 找到最佳位置 有了光子加速器，信號中會(huì )有不可避免的噪聲。注入芯片的光線(xiàn)越多，噪音越小，精確度也越高——但這會(huì )變得非常低效。輸入光越少，效率越高，但會(huì )對神經(jīng)網(wǎng)絡(luò )的性能產(chǎn)生負面影響。但是有一個(gè)“最佳點(diǎn)”，Bernstein說(shuō)，它在保持準確度的同時(shí)使用最小的光功率。 人工智能加速器的最佳位置是以執行一次兩個(gè)數相乘的單一操作（如矩陣相乘）需要多少焦耳來(lái)衡量的�，F在，傳統的加速器是用皮焦（picojoules）或萬(wàn)億焦耳（joule）來(lái)測量的。光子加速器以attojoules測量，效率高出一百萬(wàn)倍。 在模擬中，研究人員發(fā)現他們的光子加速器可以以低于attojoules的效率運行。 “在失去準確性之前，你可以發(fā)送一些最小的光功率。我們的芯片的基本限制比傳統的加速器低得多......并且低于其他光子加速器，”Bernstein表示。 參考鏈接： http://news.mit.edu/2019/ai-chip-light-computing-faster-0605 |
