|
早期的機器學(xué)習以搜索為基礎，主要依靠進(jìn)行過(guò)一定優(yōu)化的暴力方法。但是隨著(zhù)機器學(xué)習逐漸成熟，它開(kāi)始專(zhuān)注于加速技術(shù)已經(jīng)很成熟的統計方法和優(yōu)化問(wèn)題。同時(shí)深度學(xué)習的問(wèn)世更是帶來(lái)原本可能無(wú)法實(shí)現的優(yōu)化方法。本文將介紹現代機器學(xué)習如何找到兼顧規模和速度的新方法。 AI領(lǐng)域的轉變 在本系列的第1部分中，我們探討了AI的一些歷史，以及從Lisp到現代編程語(yǔ)言以及深度學(xué)習等新型計算智能范式的歷程。我們還討論了人工智能的早期應用，它們依賴(lài)于經(jīng)過(guò)優(yōu)化的搜索形式、在海量數據集上進(jìn)行訓練的現代神經(jīng)網(wǎng)絡(luò )架構，同時(shí)解決了十年前還被認為不可能的難題。然而目前仍有兩大難題有待解決，即：如何進(jìn)一步加速這些應用，以及將它們限制在智能手機這樣的功耗優(yōu)化環(huán)境中。 今天，深度學(xué)習成為了多數加速技術(shù)的重點(diǎn)研究對象。深度學(xué)習是一種神經(jīng)網(wǎng)絡(luò )架構，它依賴(lài)于多層神經(jīng)網(wǎng)絡(luò )，其中的每一層都可以支持不同的功能以進(jìn)行特征檢測。這些深層神經(jīng)網(wǎng)絡(luò )依賴(lài)于可方便運用并行計算的矢量運算， 并為神經(jīng)網(wǎng)絡(luò )層分布式計算以及同層諸多神經(jīng)元并行計算創(chuàng )造了條件。 通過(guò)GPU加速機器學(xué)習 圖形處理單元（GPU）最初并不是用于加速深度學(xué)習應用。GPU是一種特殊的設備，用于加速輸出到顯示設備的幀緩沖區（內存）的構建。它將渲染后的圖像存入幀緩沖區，而不是依靠處理器來(lái)完成。GPU由數以千計的獨立內核組成，它們并行運行并執行矢量運算等特定類(lèi)型的計算。盡管最初GPU專(zhuān)為視頻應用而設計，但人們發(fā)現它們也可以加速矩陣乘法等科學(xué)計算。 開(kāi)發(fā)人員既可以借助于GPU供應商提供的API將GPU處理功能集成到應用中，也可以采用適用于諸多不同環(huán)境的標準軟件包方式。R編程語(yǔ)言和編程環(huán)境包含與GPU協(xié)同工作來(lái)加快處理速度的軟件包，例如gputools、gmatrix和gpuR。GPU也可以通過(guò)numba軟件包或Theano等各種庫借助于Python進(jìn)行編程。 通過(guò)這些軟件包，任何有意將GPU加速應用于機器學(xué)習的人都可以達成愿望。但是工程師們還在研究更專(zhuān)門(mén)的方法。2019年，英特爾®以20億美元的價(jià)格收購了Habana Labs， 一家致力于為服務(wù)器中的機器學(xué)習加速器開(kāi)發(fā)定制芯片的公司。此外，英特爾還于2017年以150億美元收購了自動(dòng)駕駛芯片技術(shù)企業(yè)Mobileye。 定制芯片和指令 除了服務(wù)器和臺式機中的GPU加速之外，用于機器學(xué)習的加速器正在試圖超越傳統平臺，進(jìn)軍功耗受限的嵌入式設備和智能手機。這些加速器形式多樣，包括U盤(pán)、API、智能手機神經(jīng)網(wǎng)絡(luò )加速器以及用于深度學(xué)習加速的矢量指令等。 適用于智能手機的深度學(xué)習 深度學(xué)習工具包已經(jīng)從PC端延伸到智能手機，可為存在更多限制的網(wǎng)絡(luò )提供支持。TensorFlow Lite和Core ML等框架已經(jīng)部署在用于機器學(xué)習應用的移動(dòng)設備上。Apple®最近發(fā)布了A12 Bionic芯片，這款芯片包括一個(gè)8核神經(jīng)網(wǎng)絡(luò )引擎，用于開(kāi)發(fā)更加節能的神經(jīng)網(wǎng)絡(luò )應用， 從而擴展Apple智能手機上的深度學(xué)習應用。 Google發(fā)布了適用于Android® 8.1并具有機器學(xué)習功能的神經(jīng)網(wǎng)絡(luò )API (NNAPI)， 目前已應用于Google Lens自然語(yǔ)言處理和圖像識別背景下的Google Assistant。NNAPI與其他深度學(xué)習工具包相似，但它是針對Android智能手機環(huán)境及其資源限制而構建的。 深度學(xué)習USB 英特爾發(fā)布了其新版神經(jīng)計算棒，以U盤(pán)的形式加速深度學(xué)習應用。TensorFlow、Caffe和PyTorch等眾多機器學(xué)習框架都可以使用它。當沒(méi)有GPU可用時(shí)，這將是一個(gè)不錯的選擇，同時(shí)還可以快速構建深度學(xué)習應用原型。 深度學(xué)習指令 最后，在機器學(xué)習計算從CPU轉移到GPU的同時(shí)，英特爾使用新的指令優(yōu)化了其Xeon指令集，來(lái)加速深度學(xué)習。這些被稱(chēng)為AVX-512擴展的新指令（所謂的矢量神經(jīng)網(wǎng)絡(luò )指令或VNNi）提高了卷積神經(jīng)網(wǎng)絡(luò )運算的處理量。 總結 GPU在機器學(xué)習中的應用實(shí)現了在眾多應用中構建和部署大規模深度神經(jīng)網(wǎng)絡(luò )的能力。機器學(xué)習框架使構建深度學(xué)習應用變得簡(jiǎn)單。智能手機供應商也不甘人后，為受到諸多限制的應用集成了高能效的神經(jīng)網(wǎng)絡(luò )加速器（以及用于定制應用的API）�，F在市面上還有其他可轉移到USB硬件上的加速器，許多新的初創(chuàng )公司也在加大加速器領(lǐng)域的投入，為未來(lái)機器學(xué)習應用做準備。 文章來(lái)源：貿澤電子 作者簡(jiǎn)介：M. Tim Jones是一位經(jīng)驗豐富的嵌入式固件架構師，擁有超過(guò)30年的架構師和開(kāi)發(fā)經(jīng)驗，撰寫(xiě)過(guò)有關(guān)軟件和固件開(kāi)發(fā)的多本數據和多篇文章，其工程背景涵蓋從地球同步航天器的內核開(kāi)發(fā)到嵌入式系統的架構和協(xié)議開(kāi)發(fā)等諸多領(lǐng)域。 |
