|
作者：Bill Jenkins，Achronix人工智能/機器學(xué)習產(chǎn)品營(yíng)銷(xiāo)總監 探索FPGA加速語(yǔ)言模型如何通過(guò)更快的推理、更低的延遲和更好的語(yǔ)言理解來(lái)重塑生成式人工智能 簡(jiǎn)介：大語(yǔ)言模型 近年來(lái)，大型語(yǔ)言模型（Large Language Models，LLM）徹底改變了自然語(yǔ)言處理領(lǐng)域，使機器能夠生成類(lèi)似人類(lèi)的文本并進(jìn)行有意義的對話(huà)。這些模型，例如OpenAI的GPT，擁有驚人的語(yǔ)言理解和生成能力。它們可以被用于廣泛的自然語(yǔ)言處理任務(wù)，包括文本生成、翻譯、自動(dòng)摘要、情緒分析等。 大語(yǔ)言模型通常是基于深度學(xué)習技術(shù)來(lái)構建，特別是廣泛使用了transformer架構。Transformer是一類(lèi)神經(jīng)網(wǎng)絡(luò )模型，擅長(cháng)捕捉語(yǔ)言序列中的遠關(guān)聯(lián)關(guān)系，這使得它們非常適合于語(yǔ)言理解和生成任務(wù)。訓練一種大語(yǔ)言模型的方法是將模型暴露給大量文本數據中，這些文本數據通常來(lái)源于書(shū)籍、網(wǎng)站和其它文本資源。該模型學(xué)會(huì )了預測句子中的下一個(gè)單詞，或者根據它所看到的上下文填充缺失的單詞。通過(guò)這個(gè)過(guò)程，它獲得了關(guān)于語(yǔ)法、句法的知識，甚至是一定程度的世界知識。 與大語(yǔ)言模型相關(guān)的主要挑戰之一是其巨大的計算和內存需求。這些模型由數十億個(gè)參數組成，需要強大的硬件和大量的計算資源來(lái)有效地訓練和部署它們，正如Nishant Thakur在2023年3月于領(lǐng)英發(fā)布的文章《ChatGPT背后令人難以置信的處理能力和成本：構建終極AI聊天機器人需要什么?》中所討論的。資源有限的組織機構和研究人員在充分利用這些模型的潛力方面經(jīng)常遇到瓶頸，因為云端需要大量的處理能力或資金。此外，在生成響應時(shí)，為創(chuàng )建適當的符號、單詞或單詞子部分，上下文長(cháng)度會(huì )急劇增長(cháng)，對內存和計算資源產(chǎn)生更多的需求。 這些計算挑戰導致更高的延遲，這使得大語(yǔ)言模型的采用變得更加困難，并且不是實(shí)時(shí)的，因此不那么自然。在這篇博客中，我們將深入研究大語(yǔ)言模型遇到的困難，并探索潛在的解決方案，這些解決方案可以為其增強的可用性和可靠性鋪平道路。 大語(yǔ)言模型的加速 大語(yǔ)言模型的構建通常需要一個(gè)大規模的系統來(lái)執行該模型，這個(gè)模型會(huì )持續變大，在其發(fā)展到一定程度后，僅靠在CPU上的運行就不再具有成本、功耗或延遲的優(yōu)勢了。使用GPU或FPGA這樣的加速器可顯著(zhù)提高計算能效、大幅降低系統延遲，并以更小的規模實(shí)現更高的計算水平。雖然GPU無(wú)疑正在成為硬件加速的標準選擇，主要是因為它具有的可訪(fǎng)問(wèn)性和易于編程特性；實(shí)際上，在低延遲方面，FPGA架構比GPU有更卓越的性能。 由于本質(zhì)上GPU是采用扭曲鎖定（warp-locked）架構，跨多個(gè)內核并行執行超過(guò)32個(gè)SIMT線(xiàn)程，因此它們通常也需要批量處理大量數據，以嘗試和偏移warp-locked架構并保持流水線(xiàn)被充滿(mǎn)。這等同于更大的延遲和更多系統內存的需求。同時(shí)，FPGA可構建自定義數據路徑來(lái)同時(shí)在多個(gè)數據模塊上執行多個(gè)不同的指令，這意味著(zhù)它可以非常有效地運行，一直到批量大小為1，這是實(shí)時(shí)的，延遲要低得多，同時(shí)最大限度地減少外部存儲器需求。因此，與其他競爭性架構相比，FPGA能夠顯著(zhù)提高其TOPs的利用率——隨著(zhù)系統規模擴展到ChatGPT系統大小時(shí)，這種性能差距只會(huì )繼續增加。 當系統規模擴展到需要超過(guò)8個(gè)處理器件時(shí)（GPT3的訓練需要使用10,000個(gè)GPU），用Achronix的FPGA來(lái)執行大語(yǔ)言模型可在吞吐量和延遲方面勝過(guò)GPU。如果模型可以使用INT8精度，那么使用GPT-20B作為參考的Achronix FPGA則具有更大的優(yōu)勢，如下表所示。這些數據說(shuō)明使用FPGA是有優(yōu)勢的，因為GPU需要較長(cháng)的交付時(shí)間（高端GPU超過(guò)一年）、得到的用戶(hù)支持可能也很少，并且比FPGA貴得多（每塊GPU的成本可能超過(guò)10,000美元）。 
Speedster7t FPGA芯片與GPU的性能比較 將大語(yǔ)言模型映射到Achronix的FPGA加速器上 Achronix的Speedster7t FPGA具有一個(gè)獨特的架構，使其非常適合這些類(lèi)型的模型。首先，它有一個(gè)硬二維片上網(wǎng)絡(luò )（2D NoC），解決了整個(gè)器件的數據傳輸以及輸入輸出。此外，它使用了帶有緊耦合RAM的機器學(xué)習處理器（MLP），以便在計算之間實(shí)現高效的結果重用。最后，與GPU類(lèi)似但與其他FPGA不同，Achronix的Speedster7t FPGA具有八組高效的GDDR6存儲器IP，可支持更高的帶寬，并且能夠以4 Tbps的速度加載參數。 由于這些系統需要可擴展性，FPGA可以實(shí)現各種標準接口，以將加速卡互連在一起，并可實(shí)現卡之間無(wú)縫地傳輸數據。Achronix的Speedster7t AC7t1500器件具有32個(gè)100 Gbps的SerDes通道，不需要諸如NVLink這樣的專(zhuān)有且成本高昂的解決方案。 大語(yǔ)言模型的未來(lái)：升級為增強型語(yǔ)言理解方案及領(lǐng)域特定方案 由于這些大語(yǔ)言模型需要巨大的規模才能以最小的延遲影響來(lái)執行訓練和推理，模型的復雜性將繼續增加，這將使得不斷發(fā)展的語(yǔ)言理解、生成，甚至預測能力具有令人難以置信的準確性。雖然目前許多GPT類(lèi)模型都是通用的，很可能接下來(lái)會(huì )出現針對某些領(lǐng)域，如醫學(xué)、法律、工程或金融等而訓練的專(zhuān)用模型�？傊�，在很長(cháng)一段時(shí)間內，這些系統將協(xié)助人類(lèi)專(zhuān)家處理由人工智能系統處理的更多平凡的任務(wù)，并為提供解決方案建議或協(xié)助完成創(chuàng )造性的任務(wù)。 聯(lián)系Achronix，了解我們如何幫助您加速這些大語(yǔ)言模型系統。 在即將于9月14-15日在深圳市深圳灣萬(wàn)麗酒店舉辦的“2023全球AI芯片峰會(huì )”（第10號展位）上，Achronix將展出其最新的自動(dòng)語(yǔ)音識別（Accelerated Automatic Speech Recognition, ASR）加速方案。它具有領(lǐng)先的超低延遲、大并發(fā)實(shí)時(shí)處理的特性，運行在VectorPath加速卡上的Speedster7t FPGA中。作為一種帶有外接主機API的完整解決方案，其應用不需要具備RTL或FPGA知識。 Achronix還將介紹針對高帶寬、計算密集型和實(shí)時(shí)處理應用的最新的FPGA和eFPGA IP解決方案，包括Speedster7t系列FPGA芯片、Speedcore eFPGA IP和VectorPath加速卡。 |
