|
NVIDIA Spectrum-X 助力 Colossal 實(shí)現基于 NVIDIA Hopper 的十萬(wàn)卡 GPU 系統 NVIDIA 宣布，xAI 位于田納西州孟菲斯市的 Colossus 超級計算機集群達到了 10 萬(wàn)顆 NVIDIA® Hopper GPU 的巨大規模。該集群使用了 NVIDIA Spectrum-X™ 以太網(wǎng)網(wǎng)絡(luò )平臺，該平臺是專(zhuān)為多租戶(hù)、超大規模的 AI 工廠(chǎng)提供卓越性能而設計的 RDMA（Remote Direct Memory Access）網(wǎng)絡(luò )。 Colossus 是世界上最大的 AI 超級計算機，目前正被用于訓練 xAI 的 Grok 系列大語(yǔ)言模型，以及作為 X Premium 用戶(hù)功能之一的聊天機器人（Chatbot）。xAI 正在將 Colossus 的規模進(jìn)一步擴大一倍至 20 萬(wàn)顆 NVIDIA Hopper GPU。 xAI 和 NVIDIA 僅用了 122 天就建成了所有配套設施和這臺最先進(jìn)的超級計算機，從第一個(gè)機架落地到開(kāi)始訓練任務(wù)，只用了 19 天。而建造這種規模的系統通常需要數月乃至數年的時(shí)間。 在訓練 Grok 這種超大型模型時(shí)，Colossus 實(shí)現了空前的網(wǎng)絡(luò )性能，在三層網(wǎng)絡(luò )架構下，整個(gè)系統未出現任何因流量沖突而造成的應用延遲增加或數據包丟失的情況。憑借 Spectrum-X 先進(jìn)的擁塞控制功能，系統數據吞吐量一直保持在 95%。 這一性能水平是傳統以太網(wǎng)在大規模的情況下根本無(wú)法實(shí)現的，傳統以太網(wǎng)在數千條流發(fā)生沖突時(shí)，只能提供 60% 的數據吞吐量。 NVIDIA 網(wǎng)絡(luò )高級副總裁 Gilad Shainer 表示：“AI 正變得至關(guān)重要，對性能、安全性、可擴展性和成本效益提出了更高的要求。NVIDIA Spectrum-X 以太網(wǎng)網(wǎng)絡(luò )平臺專(zhuān)為那些如 xAI 一樣的創(chuàng )新企業(yè)提供更快的處理、分析和執行 AI 工作負載的速度，進(jìn)而加速 AI 解決方案的開(kāi)發(fā)、部署和上市�！� 埃隆·馬斯克在 X 上表示：“Colossus 是世界上最強大的訓練系統。xAI 團隊、NVIDIA 和我們的眾多合作伙伴及供應商干得漂亮�！� xAI 發(fā)言人表示：“xAI 構建了全球規模最大、性能最強的超級計算機。借助 NVIDIA Hopper GPU 和 Spectrum-X，我們得以突破大規模 AI 模型訓練的邊界，打造基于以太網(wǎng)標準并經(jīng)過(guò)超級加速和優(yōu)化的 AI 工廠(chǎng)�！� Spectrum-X 平臺的核心是 Spectrum SN5600 以太網(wǎng)交換機，它支持高達 800Gb/s 的端口速度，采用了 Spectrum-4 交換機 ASIC。xAI 采用了 Spectrum-X SN5600 交換機與 NVIDIA BlueField-3® SuperNIC 的端到端解決方案，實(shí)現了前所未有的性能。 專(zhuān)門(mén)面向 AI 的 Spectrum-X 以太網(wǎng)網(wǎng)絡(luò )具有先進(jìn)的功能，可在提供高效、可擴展的帶寬的同時(shí)，實(shí)現低延遲和短尾延遲，而這些功能之前是 InfiniBand 網(wǎng)絡(luò )所獨有的。Spectrum-X 的功能包括基于 NVIDIA DDP（Direct Data Placement）技術(shù)的動(dòng)態(tài)路由、擁塞控制計算，以及增強了 AI 網(wǎng)絡(luò )的可視性和性能隔離，所有這些功能都是多租戶(hù)生成式 AI 云和大型企業(yè)應用環(huán)境的關(guān)鍵要求。 |
