|
近日，天翼云DeepSeek模型推理技術(shù)迎來(lái)重大升級。該技術(shù)不僅支撐DeepSeek-R1滿(mǎn)血版模型實(shí)現性能的四倍提升，更將大規模部署模型的成本降至原來(lái)的25%以下，為AI應用落地鋪就更為寬廣的道路。 此次技術(shù)升級主要體現在量化技術(shù)賦能及通信傳輸優(yōu)化兩大層面。其中，天翼云針對模型的浮點(diǎn)計算進(jìn)行深度優(yōu)化，使用高效量化算法，大幅減少計算資源消耗，提升推理速度，同時(shí)保證性能不打折。 通信傳輸方面，天翼云通過(guò)優(yōu)化通信算子編排與通信方式，顯著(zhù)提升MoE模型推理中的通信效率，助力DeepSeek-R1模型的整體處理能力再上新臺階。 基于兩大技術(shù)升級，天翼云提供的DeepSeek-R1滿(mǎn)血昇騰版每實(shí)例性能提升至原版本207%，首字輸出仍保持百毫秒級響應；每實(shí)例部署所需機器數減少一半，僅為兩臺。 此次升級DeepSeek-R1為行業(yè)的大規模AI應用提供了更完善的解決方案。DeepSeek-R1滿(mǎn)血昇騰版整體部署成本降至原來(lái)25%以下，意味著(zhù)企業(yè)可以在不增加太多預算的情況下，享受到更強大、更高效的AI服務(wù)，加速了AI技術(shù)的普及與應用。 目前，天翼云“息壤”智算平臺已有多款產(chǎn)品支持部署DeepSeek，為行業(yè)提供了性能卓越、安全可控的智能算力基座，以普惠AI應用服務(wù)，不斷促進(jìn)國產(chǎn)AI生態(tài)繁榮。 科技創(chuàng )新的目標是解決實(shí)際應用，促進(jìn)行業(yè)進(jìn)步。天翼云始終堅持科技創(chuàng )新，將技術(shù)升級與市場(chǎng)需求緊密結合，加速AI技術(shù)從理論走向實(shí)踐，從實(shí)驗室走向生產(chǎn)線(xiàn)。未來(lái)，天翼云將繼續探索更多前沿AI技術(shù)路徑，為廣大開(kāi)發(fā)者和用戶(hù)提供更優(yōu)質(zhì)、更具性?xún)r(jià)比的模型服務(wù)，推動(dòng)AI應用普惠化，共筑數字中國的智慧未來(lái)。 |
