GPU引領(lǐng)的深度學(xué)習

發(fā)布時(shí)間:2021-1-12 11:47    發(fā)布者:eechina
關(guān)鍵詞: GPU , 深度學(xué)習
早期的機器學(xué)習以搜索為基礎,主要依靠進(jìn)行過(guò)一定優(yōu)化的暴力方法。但是隨著(zhù)機器學(xué)習逐漸成熟,它開(kāi)始專(zhuān)注于加速技術(shù)已經(jīng)很成熟的統計方法和優(yōu)化問(wèn)題。同時(shí)深度學(xué)習的問(wèn)世更是帶來(lái)原本可能無(wú)法實(shí)現的優(yōu)化方法。本文將介紹現代機器學(xué)習如何找到兼顧規模和速度的新方法。

AI領(lǐng)域的轉變

在本系列的第1部分中,我們探討了AI的一些歷史,以及從Lisp到現代編程語(yǔ)言以及深度學(xué)習等新型計算智能范式的歷程。我們還討論了人工智能的早期應用,它們依賴(lài)于經(jīng)過(guò)優(yōu)化的搜索形式、在海量數據集上進(jìn)行訓練的現代神經(jīng)網(wǎng)絡(luò )架構,同時(shí)解決了十年前還被認為不可能的難題。然而目前仍有兩大難題有待解決,即:如何進(jìn)一步加速這些應用,以及將它們限制在智能手機這樣的功耗優(yōu)化環(huán)境中。

今天,深度學(xué)習成為了多數加速技術(shù)的重點(diǎn)研究對象。深度學(xué)習是一種神經(jīng)網(wǎng)絡(luò )架構,它依賴(lài)于多層神經(jīng)網(wǎng)絡(luò ),其中的每一層都可以支持不同的功能以進(jìn)行特征檢測。這些深層神經(jīng)網(wǎng)絡(luò )依賴(lài)于可方便運用并行計算的矢量運算, 并為神經(jīng)網(wǎng)絡(luò )層分布式計算以及同層諸多神經(jīng)元并行計算創(chuàng )造了條件。

通過(guò)GPU加速機器學(xué)習

圖形處理單元(GPU)最初并不是用于加速深度學(xué)習應用。GPU是一種特殊的設備,用于加速輸出到顯示設備的幀緩沖區(內存)的構建。它將渲染后的圖像存入幀緩沖區,而不是依靠處理器來(lái)完成。GPU由數以千計的獨立內核組成,它們并行運行并執行矢量運算等特定類(lèi)型的計算。盡管最初GPU專(zhuān)為視頻應用而設計,但人們發(fā)現它們也可以加速矩陣乘法等科學(xué)計算。

開(kāi)發(fā)人員既可以借助于GPU供應商提供的API將GPU處理功能集成到應用中,也可以采用適用于諸多不同環(huán)境的標準軟件包方式。R編程語(yǔ)言和編程環(huán)境包含與GPU協(xié)同工作來(lái)加快處理速度的軟件包,例如gputools、gmatrix和gpuR。GPU也可以通過(guò)numba軟件包或Theano等各種庫借助于Python進(jìn)行編程。

通過(guò)這些軟件包,任何有意將GPU加速應用于機器學(xué)習的人都可以達成愿望。但是工程師們還在研究更專(zhuān)門(mén)的方法。2019年,英特爾®以20億美元的價(jià)格收購了Habana Labs, 一家致力于為服務(wù)器中的機器學(xué)習加速器開(kāi)發(fā)定制芯片的公司。此外,英特爾還于2017年以150億美元收購了自動(dòng)駕駛芯片技術(shù)企業(yè)Mobileye。

定制芯片和指令

除了服務(wù)器和臺式機中的GPU加速之外,用于機器學(xué)習的加速器正在試圖超越傳統平臺,進(jìn)軍功耗受限的嵌入式設備和智能手機。這些加速器形式多樣,包括U盤(pán)、API、智能手機神經(jīng)網(wǎng)絡(luò )加速器以及用于深度學(xué)習加速的矢量指令等。

適用于智能手機的深度學(xué)習

深度學(xué)習工具包已經(jīng)從PC端延伸到智能手機,可為存在更多限制的網(wǎng)絡(luò )提供支持。TensorFlow Lite和Core ML等框架已經(jīng)部署在用于機器學(xué)習應用的移動(dòng)設備上。Apple®最近發(fā)布了A12 Bionic芯片,這款芯片包括一個(gè)8核神經(jīng)網(wǎng)絡(luò )引擎,用于開(kāi)發(fā)更加節能的神經(jīng)網(wǎng)絡(luò )應用, 從而擴展Apple智能手機上的深度學(xué)習應用。

Google發(fā)布了適用于Android® 8.1并具有機器學(xué)習功能的神經(jīng)網(wǎng)絡(luò )API (NNAPI), 目前已應用于Google Lens自然語(yǔ)言處理和圖像識別背景下的Google Assistant。NNAPI與其他深度學(xué)習工具包相似,但它是針對Android智能手機環(huán)境及其資源限制而構建的。

深度學(xué)習USB

英特爾發(fā)布了其新版神經(jīng)計算棒,以U盤(pán)的形式加速深度學(xué)習應用。TensorFlow、Caffe和PyTorch等眾多機器學(xué)習框架都可以使用它。當沒(méi)有GPU可用時(shí),這將是一個(gè)不錯的選擇,同時(shí)還可以快速構建深度學(xué)習應用原型。

深度學(xué)習指令

最后,在機器學(xué)習計算從CPU轉移到GPU的同時(shí),英特爾使用新的指令優(yōu)化了其Xeon指令集,來(lái)加速深度學(xué)習。這些被稱(chēng)為AVX-512擴展的新指令(所謂的矢量神經(jīng)網(wǎng)絡(luò )指令或VNNi)提高了卷積神經(jīng)網(wǎng)絡(luò )運算的處理量。

總結

GPU在機器學(xué)習中的應用實(shí)現了在眾多應用中構建和部署大規模深度神經(jīng)網(wǎng)絡(luò )的能力。機器學(xué)習框架使構建深度學(xué)習應用變得簡(jiǎn)單。智能手機供應商也不甘人后,為受到諸多限制的應用集成了高能效的神經(jīng)網(wǎng)絡(luò )加速器(以及用于定制應用的API),F在市面上還有其他可轉移到USB硬件上的加速器,許多新的初創(chuàng )公司也在加大加速器領(lǐng)域的投入,為未來(lái)機器學(xué)習應用做準備。


文章來(lái)源:貿澤電子

作者簡(jiǎn)介:M. Tim Jones是一位經(jīng)驗豐富的嵌入式固件架構師,擁有超過(guò)30年的架構師和開(kāi)發(fā)經(jīng)驗,撰寫(xiě)過(guò)有關(guān)軟件和固件開(kāi)發(fā)的多本數據和多篇文章,其工程背景涵蓋從地球同步航天器的內核開(kāi)發(fā)到嵌入式系統的架構和協(xié)議開(kāi)發(fā)等諸多領(lǐng)域。
本文地址:http://selenalain.com/thread-754134-1-1.html     【打印本頁(yè)】

本站部分文章為轉載或網(wǎng)友發(fā)布,目的在于傳遞和分享信息,并不代表本網(wǎng)贊同其觀(guān)點(diǎn)和對其真實(shí)性負責;文章版權歸原作者及原出處所有,如涉及作品內容、版權和其它問(wèn)題,我們將根據著(zhù)作權人的要求,第一時(shí)間更正或刪除。
您需要登錄后才可以發(fā)表評論 登錄 | 立即注冊

相關(guān)視頻

關(guān)于我們  -  服務(wù)條款  -  使用指南  -  站點(diǎn)地圖  -  友情鏈接  -  聯(lián)系我們
電子工程網(wǎng) © 版權所有   京ICP備16069177號 | 京公網(wǎng)安備11010502021702
快速回復 返回頂部 返回列表
午夜高清国产拍精品福利|亚洲色精品88色婷婷七月丁香|91久久精品无码一区|99久久国语露脸精品|动漫卡通亚洲综合专区48页