ameya360:如何減少機器學(xué)習的碳足跡

發(fā)布時(shí)間:2022-9-14 15:49    發(fā)布者:Ameya360
  根據去年在IEEESpectrum上發(fā)布的《深度學(xué)習受益遞減》一文中提到,隨著(zhù)機器學(xué)習的發(fā)展,到了2025年,最強的深度學(xué)習系統在ImageNet數據集中進(jìn)行物體識別時(shí),錯誤率最高只有5%。但訓練這樣一個(gè)系統所需要的算力和能耗都是龐大的,更糟糕的是,其排放的二氧化碳將是紐約市一整個(gè)月的排放量。
  機器學(xué)習的碳排放可以被分為兩種,一種是運營(yíng)排放,也就是數據中心在運行機器學(xué)習硬件中產(chǎn)生的碳排放;第二種是整個(gè)生命周期內的排放,不僅包含運營(yíng)排放,還包含了各個(gè)環(huán)節的碳排放,比如芯片制造、數據中心建造等等?紤]到后者涉及更加復雜的研究,所以大部分碳足跡的研究都集中在運營(yíng)排放上。

  至于如何記錄碳排放,這也很簡(jiǎn)單,只需要將訓練/推理的時(shí)長(cháng)x處理器數量x每個(gè)處理器的平均功耗xPUEx每千瓦時(shí)的二氧化碳排放即可。除了最后一項參數需要從數據中心那獲取外,其他的數據基本都是公開(kāi),或取決于機器學(xué)習研究者自己的選擇。

  如何減少機器學(xué)習的碳足跡

  圖靈獎得主、谷歌杰出工程師DavidPatterson教授對現有的機器學(xué)習的研究和工作提出了以下幾點(diǎn)建議。首先,從模型開(kāi)始著(zhù)手,機器學(xué)習研究者需要繼續開(kāi)發(fā)效率更高的模型,比如谷歌去年發(fā)布的GLaM通用稀疏語(yǔ)言模型,相較GPT-3,它多出了7倍的參數,在自然語(yǔ)言推理等任務(wù)上都要優(yōu)于GPT-3。但同樣重要的是它的能耗和碳足跡指標,根據谷歌公布的數據,與使用V100的GPT-3相比,使用TPUv4的GLaM二氧化碳排放減少了14倍,可見(jiàn)模型對于碳足跡的影響。其次,在發(fā)布新模型的時(shí)候,他建議也把能耗和碳足跡這樣的數據公開(kāi),這樣有助于促進(jìn)機器學(xué)習模型在質(zhì)量上的良性競爭。

  接著(zhù)是硬件,他指出我們需要像TPUv4或者A100GPU等,這類(lèi)機器學(xué)習能效比更高的硬件。其實(shí)這一點(diǎn)反倒是最不需要擔心的,這幾乎是每個(gè)初創(chuàng )AI芯片公司都在嘗試的做法,即便在峰值上不敵這些硬件,也絕對會(huì )在能效比上盡可能做大極致。

  還有就是常見(jiàn)的能效衡量指標PUE,大型機器學(xué)習負載往往要在數據中心上運行,而要讓數據中心的PUE接近1并不是一件簡(jiǎn)單的事。根據UptimeInstitute的統計,各家廠(chǎng)商旗下最大數據中心的年度PUE為1.57,就連我國工信部印發(fā)的《新型數據中心發(fā)展三年行動(dòng)計劃(2021-2023)》中提出的最終目標也只是將新建大型數據中心PUE降低至1.3以下。但好在新建的數據中心往往都不會(huì )只滿(mǎn)足于這個(gè)目標,而是往1.1乃至1.06這樣的指標推進(jìn)。

  可這個(gè)指標并不是一個(gè)死數據,隨著(zhù)負載和用量的變動(dòng),PUE是在持續波動(dòng)的,不少數據中心僅僅在建成時(shí)發(fā)布了能效指標,之后就再未公布過(guò)任何數據了。在這塊做得最好的也還是谷歌,谷歌每年都會(huì )發(fā)布年度能效報告,將各個(gè)數據中心每個(gè)季度的PUE公布出來(lái)。

  不過(guò)僅僅只有極低的PUE只能體現出高能耗比,DavidPatterson教授認為還必須一并公布每個(gè)地區數據中心的清潔能源占比。比如阿里巴巴首次發(fā)布的《2022阿里巴巴環(huán)境、社會(huì )和治理報告》中就提到了2021年,阿里巴巴在中國企業(yè)可再生能源購買(mǎi)者中排名第一,2022財年阿里云21.6%的電力來(lái)自清潔能源。

  在雙碳目標的提出下,我國其實(shí)已經(jīng)落實(shí)到了機器學(xué)習的硬件上,但在軟件和碳足跡透明度這方面還有可以改善的空間。機器學(xué)習要想做到消耗更低的算力來(lái)實(shí)現更優(yōu)的效果,就必須從各個(gè)環(huán)節做到節能減排。

本文地址:http://selenalain.com/thread-800998-1-1.html     【打印本頁(yè)】

本站部分文章為轉載或網(wǎng)友發(fā)布,目的在于傳遞和分享信息,并不代表本網(wǎng)贊同其觀(guān)點(diǎn)和對其真實(shí)性負責;文章版權歸原作者及原出處所有,如涉及作品內容、版權和其它問(wèn)題,我們將根據著(zhù)作權人的要求,第一時(shí)間更正或刪除。
關(guān)于我們  -  服務(wù)條款  -  使用指南  -  站點(diǎn)地圖  -  友情鏈接  -  聯(lián)系我們
電子工程網(wǎng) © 版權所有   京ICP備16069177號 | 京公網(wǎng)安備11010502021702
快速回復 返回頂部 返回列表
午夜高清国产拍精品福利|亚洲色精品88色婷婷七月丁香|91久久精品无码一区|99久久国语露脸精品|动漫卡通亚洲综合专区48页