|
Capital One、Microsoft、Samsung Medison、Siemens Energy、Snap等全球行業(yè)領(lǐng)導者都在使用該平臺 NVIDIA宣布其AI推理平臺的重大更新，目前Capital One、Microsoft、Samsung Medison、Siemens Energy、Snap等25000多家客戶(hù)都在使用該平臺。 
這些更新包括開(kāi)源NVIDIA Triton推理服務(wù)器軟件的新功能，該軟件為所有AI模型和框架提供跨平臺推理； 同時(shí)也包含對NVIDIA TensorRT的更新，該軟件優(yōu)化AI模型并為NVIDIA GPU上的高性能推理提供運行時(shí)優(yōu)化。 NVIDIA還推出了NVIDIA A2 Tensor Core GPU，這是一款用于邊緣AI推理的低功耗、小尺寸的加速器，其推理性能比CPU高出20倍。 NVIDIA副總裁兼加速計算總經(jīng)理Ian Buck表示："NVIDIA AI推理平臺正在推動(dòng)各行各業(yè)的突破，包括醫療健康、金融服務(wù)、零售、制造和超級計算。無(wú)論是提供更智能的建議，發(fā)揮對話(huà)式AI的力量，還是推進(jìn)科學(xué)發(fā)現，NVIDIA推理平臺都能以簡(jiǎn)單易用的方式提供低延遲、高吞吐及多種性能組合的服務(wù)，為全球關(guān)鍵的AI新應用賦能。" 關(guān)鍵的軟件優(yōu)化 Triton 推理服務(wù)器的主要更新包括： ● Triton 模型分析器 – 這款新工具可以自動(dòng)化地從數百種組合中為 AI 模型選擇最佳配置，以實(shí)現最優(yōu)性能，同時(shí)確保應用程序所需的服務(wù)質(zhì)量。 ● 多 GPU 多節點(diǎn)功能 – 這一新功能支持基于Transformer的大規模語(yǔ)言模型，例如 Megatron 530B，在多個(gè)GPU和服務(wù)器節點(diǎn)上運行并提供實(shí)時(shí)推理性能，而不是在單個(gè)GPU上運行。 ● RAPIDS FIL – 這一針對隨機森林和梯度提升決策樹(shù)模型 GPU 或 CPU 推理的新后端為開(kāi)發(fā)者使用 Triton 進(jìn)行深度學(xué)習和傳統機器學(xué)習提供了一個(gè)統一的部署引擎。 ● Amazon SageMaker 集成 – 這種無(wú)縫集成讓客戶(hù)能夠在 SageMaker（AWS 完全托管的 AI 服務(wù)）中使用 Triton 輕松部署多框架的模型，并實(shí)現高推理性能。 ● 支持 Arm CPU – 除了 NVIDIA GPU 和 x86 CPU 外，Triton 后端現在還支持在 Arm CPU 上優(yōu)化 AI 推理工作負載。 Triton 支持在云、數據中心、企業(yè)邊緣和嵌入式設備等環(huán)境中對 GPU 和 CPU 進(jìn)行 AI 推理，并與 AWS、Google Cloud、Microsoft Azure、阿里云PAI-EAS 等平臺集成。此外，NVIDIA AI Enterprise 也集成了 Triton。 NVIDIA AI Enterprise 是一款經(jīng) NVIDIA 優(yōu)化、認證和支持的用于開(kāi)發(fā)和部署 AI 的端到端軟件套件，客戶(hù)可利用它在本地數據中心和私有云的 主流服務(wù)器上運行 AI 工作負載。 除了 Triton 外，TensorRT 現在還與TensorFlow和PyTorch集成，只需一行代碼就能提供比框架內推理快3倍的性能。這使得開(kāi)發(fā)人員采用極為簡(jiǎn)化的工作流程就可以體會(huì )TensorRT的強大功能。 NVIDIA TensorRT 8.2 是SDK的最新版本，可加速高性能的深度學(xué)習推理，在云端、本地或邊緣提供高吞吐和低延遲。有了最新的性能優(yōu)化，數十億個(gè)參數的語(yǔ)言模型可實(shí)現實(shí)時(shí)運行。 行業(yè)領(lǐng)導者支持 NVIDIA AI 平臺推理 全球眾多行業(yè)領(lǐng)導者都正在使用 NVIDIA AI 推理平臺改進(jìn)業(yè)務(wù)運營(yíng)并為客戶(hù)提供新的AI賦能服務(wù)。 Microsoft Azure 認知服務(wù)為高品質(zhì) AI 模型提供基于云的 API，以創(chuàng )建智能應用程序。他們正在使用Triton 運行語(yǔ)音轉文本模型，為 Microsoft Teams 用戶(hù)提供準確的實(shí)時(shí)字幕和轉錄。 “Microsoft Teams 是全球溝通和協(xié)作的重要工具，每月有近 2.5 億活躍用戶(hù)，”Microsoft 團隊呼叫、會(huì )議和設備部首席 PM 經(jīng)理 Shalendra Chhabra 表示�！斑@樣的 AI 模型極其復雜，需要數千萬(wàn)個(gè)神經(jīng)網(wǎng)絡(luò )參數才能在幾十種不同的語(yǔ)言中提供準確的結果。模型越大，就越難以經(jīng)濟高效地實(shí)時(shí)運行。Microsoft Azure 認知服務(wù)上的 NVIDIA GPU 和 Triton 推理服務(wù)器使用 28 種語(yǔ)言和方言，通過(guò) AI 近乎實(shí)時(shí)地幫助改進(jìn)實(shí)時(shí)字幕和轉錄功能�！盡icrosoft Azure 認知服務(wù)上的 NVIDIA GPU 和 Triton 推理服務(wù)器，結合AI模型，幫助提升了涉及28 種語(yǔ)言和方言的實(shí)時(shí)字幕和轉錄功能的成本效益。 Samsung Medison 是三星電子旗下一家全球醫療設備公司。該公司正利用 NVIDIA TensorRT 通過(guò)智能輔助功能來(lái)為其超聲波系統提供增強的更優(yōu)質(zhì)的醫療影像。Samsung Medison 致力于通過(guò)提高患者的舒適度、減少掃描時(shí)間、簡(jiǎn)化工作流程并最終提高系統吞吐量來(lái)改善患者和醫療健康領(lǐng)域專(zhuān)業(yè)人員的生活。 “在新款 V8 高端超聲波系統中應用 NVIDIA TensorRT 后，我們能夠在查看和診斷圖像時(shí)更好地為醫學(xué)專(zhuān)家提供支持，”Samsung Medison 副總裁、客戶(hù)體驗團隊主管 Won-Chul Bang 表示�！拔覀冋诜e極地將基于 AI 的技術(shù)引入我們的超聲波系統，以便為醫療專(zhuān)業(yè)人員提供更好的支持，使他們能夠專(zhuān)注于患者診斷和治療等更重要的領(lǐng)域�！� Siemens Energy是一家擁有領(lǐng)先能源技術(shù)解決方案的能源專(zhuān)營(yíng)公司，該公司正利用 Triton 通過(guò) AI 來(lái)幫助其發(fā)電廠(chǎng)客戶(hù)管理相關(guān)設施。 “高度復雜的發(fā)電廠(chǎng)通常會(huì )配備攝像頭和傳感器，但采用的卻是傳統軟件系統，NVIDIA Triton 推理服務(wù)器出色的靈活性能夠讓這些發(fā)電廠(chǎng)加入自主工業(yè)革命，” Siemens Energy自主運營(yíng)部投資組合經(jīng)理 Arik Ott 表示。 Snap是一家全球性攝影軟件和社交媒體公司，其主要產(chǎn)品和服務(wù)包括Snapchat、Spectacles和Bitmoji等。Snap正在使用NVIDIA技術(shù)來(lái)提高商業(yè)變現能力和降低成本。 "Snap使用NVIDIA GPU和TensorRT將機器學(xué)習推理的成本效率提高了50%，并將服務(wù)延遲降低了2倍，“Snap公司策劃與商業(yè)變現部門(mén)工程副總裁Nima Khajehnouri表示。"這為我們提供了計算資源，以實(shí)踐和部署更大型、更準確的廣告和內容排名模型。" NVIDIA面向推理的 AI 平臺包括了新的 NVIDIA 認證系統,全新A2 GPU NVIDIA 認證系統可以幫助客戶(hù)在高性能、經(jīng)濟高效且可擴展的基礎設施上為各種現代 AI 應用識別、獲取和部署系統，該認證系統現在包含兩個(gè)新的邊緣AI類(lèi)別。 擴展的類(lèi)別允許 NVIDIA 系統的合作伙伴為客戶(hù)提供完整系列的由基于 NVIDIA Ampere 架構的 GPU 支持的 NVIDIA 認證系統，來(lái)處理各種實(shí)際工作負載。新的 NVIDIA A2 GPU 也包含在內，它是一個(gè)入門(mén)級、低功耗的緊湊型加速器，適用于邊緣服務(wù)器中的推理和邊緣 AI。 NVIDIA A2與適用于主流企業(yè)服務(wù)器的 NVIDIA A30 、適用高性能 AI 服務(wù)器的 NVIDIA A100 一起，為邊緣、數據中心和云端的 AI 推理提供了完整的方案。 Atos、戴爾科技、技嘉、慧與、浪潮、聯(lián)想和 Supermicro 等全球領(lǐng)先的企業(yè)系統供應商，其AI系統產(chǎn)品線(xiàn)均支持在 NVIDIA 認證系統上使用 NVIDIA AI Enterprise。 其他系統提供商，如研華科技、ASRock Rack、華碩、寧暢、新華三 和 QCT 也為各種工作負載提供了 NVIDIA 認證系統。包括 研華科技、技嘉和聯(lián)想在內的領(lǐng)先供應商將很快推出首款通過(guò)新邊緣類(lèi)別認證的 NVIDIA 認證系統。 供貨情況 Triton 通過(guò) NVIDIA NGC 目錄提供。NVIDIA NGC是針對 GPU 優(yōu)化的 AI 軟件中心，包括框架、工具包、預訓練模型和 Jupyter Notebooks。Triton源代碼可從 Triton GitHub 資源庫獲取。 NVIDIA 開(kāi)發(fā)者計劃成員可通過(guò) TensorRT 頁(yè)面獲取 TensorRT。最新版本的插件、解析器和示例也以開(kāi)源形式提供，可從 TensorRT GitHub 資源庫獲取。 客戶(hù)可以通過(guò)今日獨家發(fā)布的 NVIDIA LaunchPad中的全球精選實(shí)驗室，在 NVIDIA AI Enterprise 軟件套件中體驗 NVIDIA Triton。 NVIDIA AI Enterprise 軟件套件可通過(guò)全球 NVIDIA 渠道合作伙伴獲取，包括 Atea、Axians、Carahsoft Technology Corp.、Computacenter、Insight Enterprises、Presidio、Sirius、SoftServe、SVA System Vertrieb Alexander GmbH、TD SYNNEX、Trace3 和 WWT。 |
