|
來(lái)源：網(wǎng)易科技 9 月 15 日消息，當地時(shí)間周三芯片公司英特爾、ARM 和英偉達共同發(fā)布了一項所謂人工智能通用交換格式的規范草案，目的是使機器處理人工智能的過(guò)程速度更快、更高效。 英特爾、ARM 和英偉達在草案中推薦人工智能系統使用 8 位的 FP8 浮點(diǎn)處理格式。他們表示，FP8 浮點(diǎn)處理格式有可能優(yōu)化硬件內存使用率，從而加速人工智能的發(fā)展。這種格式同時(shí)適用于人工智能訓練和推理，有助于開(kāi)發(fā)速度更快、更高效的人工智能系統。 在開(kāi)發(fā)人工智能系統時(shí)，數據科學(xué)家面臨的關(guān)鍵問(wèn)題不僅是收集大量數據來(lái)訓練系統。此外還需要選擇一種格式來(lái)表達系統權重，權重是人工智能從訓練數據中學(xué)習到影響系統預測效果的重要因素。權重使得 GPT-3 這樣的人工智能系統能夠從一個(gè)長(cháng)句子提示自動(dòng)生成整個(gè)段落，還能讓 DALL-E 2 人工智能基于某個(gè)特定標題生成逼真的肖像畫(huà)。 人工智能系統權重常用的格式有半精度浮點(diǎn)數 FP16 和單精度浮點(diǎn)數 FP32，前者使用 16 位數據表示系統權重，后者則使用 32 位。半精度浮點(diǎn)數以及更低精度浮點(diǎn)數能減少了訓練和運行人工智能系統所需的內存空間，同時(shí)還加快計算速度，甚至減少占用的帶寬資源和耗電量。但因為位數較單精度浮點(diǎn)數更少，準確性會(huì )有所降低。 然而，包括英特爾、ARM 和英偉達在內的許多行內公司都將 8 位的 FP8 浮點(diǎn)處理格式作為最佳選擇。英偉達產(chǎn)品營(yíng)銷(xiāo)總監薩沙・納拉西姆漢（Shar Narasimhan）在一篇博客文章中指出，FP8 浮點(diǎn)處理格式在計算機視覺(jué)和圖像生成系統等用例中的精度與半精度浮點(diǎn)數相當，同時(shí)有“明顯”加速。 英偉達、ARM 和英特爾表示，他們將讓 FP8 浮點(diǎn)處理格式成為一種開(kāi)放標準，其他公司無(wú)需許可證即可使用。三家公司在一份白皮書(shū)對 FP8 進(jìn)行了詳細描述。納拉西姆漢表示，這些規范都將提交給技術(shù)標準化組織 IEEE，看 FP8 格式能否成為人工智能行業(yè)的通用標準。 納拉西姆漢說(shuō)：“我們相信，一個(gè)通用的交換格式將帶來(lái)硬件和軟件平臺的快速進(jìn)步，提高互操作性，從而推進(jìn)人工智能計算的進(jìn)步�！� 當然，三家公司之所以不遺余力推動(dòng) FP8 格式成為通用交換格式也是出于自身研究的考慮。英偉達的 GH100 Hopper 架構已經(jīng)實(shí)現對 FP8 格式的支持，英特爾的 Gaudi2 人工智能訓練芯片組也支持 FP8 格式。 但通用的 FP8 格式也會(huì )使 SambaNova、AMD、Groq、IBM、Graphcore 和 Cerebras 等競爭對手受益，這些公司都曾在開(kāi)發(fā)人工智能系統時(shí)試驗或采用 FP8 格式。人工智能系統開(kāi)發(fā)商 Graphcore 聯(lián)合創(chuàng )始人兼首席技術(shù)官西蒙・諾爾斯（Simon Knowles）在今年 7 月份的一篇博客文章中寫(xiě)道，“8 位浮點(diǎn)數的出現在處理性能和效率方面為人工智能計算帶來(lái)了巨大優(yōu)勢”。諾爾斯還稱(chēng)，這是行業(yè)確定“單一開(kāi)放標準”的“一個(gè)機會(huì )”，比采取多種格式相互競爭要好得多。 |
