在現代計算硬件中,需要頻繁地將數據從處理器到存儲器之間來(lái)回搬運,然而該過(guò)程會(huì )耗費大量的時(shí)間和精力。好消息是,IBM研究院剛剛宣布了人工智能硬件的最新進(jìn)展——通過(guò)內存計算的方式,將內存單元作為處理器來(lái)使用。減少了數據騰挪的麻煩之后,可將能源需求減少90%。 在本周舉辦的國際電子器件會(huì )議(IEDM)和神經(jīng)信息處理系統會(huì )議(NeurIPS)上,IBM介紹了迄今為止精度最高的“8-bit模擬芯片”(較此前提升了一倍)。 這套全新的解決方案,使用了被稱(chēng)作“投影相變存儲器”的新方法,簡(jiǎn)稱(chēng)Proj-PCM。與具有類(lèi)似精度的數字架構相比,其能耗僅為1/33。 IBM表示,研究人員在Proj-PCM中插入了一個(gè)與相變段平行的“非絕緣投影段”。 在寫(xiě)入過(guò)程中,投影段對設備操作的影響最小。但在讀取的時(shí)候,變成狀態(tài)的電導值,主要由投影段來(lái)確定——其對電導的變化,具有顯著(zhù)的免疫力。 如此一來(lái),Proj-PCM可實(shí)現比以往的PCM設備更高的精度。IBM表示: 改進(jìn)的精度,證明了‘內存計算’有朝一日可被用于物聯(lián)網(wǎng)和邊緣應用等低功耗環(huán)境、同時(shí)實(shí)現高性能深度學(xué)習的能力。 除了模擬芯片的最新進(jìn)展,IBM還提出了針對數字計算的新方法。 其能夠以8-bit精度訓練深度學(xué)習模型,同時(shí)保持圖像、速度、文本數據集類(lèi)別的模型精度。 上述研究突破,在IBMResearch的論文中有詳細介紹。原標題為:8-Bit Precision for Training Deep Learning Systems --cnBeta |