|
近日，摩爾線(xiàn)程宣布正式開(kāi)源高性能線(xiàn)性代數模板庫MUTLASS，這一舉措旨在幫助開(kāi)發(fā)者更高效地針對摩爾線(xiàn)程GPU的MUSA Core及Tensor Core等單元進(jìn)行編程，從而加速基于國產(chǎn)GPU的算子開(kāi)發(fā)以及算法創(chuàng )新。MUTLASS的開(kāi)源地址為：https://github.com/MooreThreads/mutlass。 作為摩爾線(xiàn)程專(zhuān)為自研MUSA架構優(yōu)化的高性能計算庫，MUTLASS（MUSA Templates for Linear Algebra Subroutines）是基于開(kāi)源模板庫CUTLASS進(jìn)行的MUSA適配和定制化開(kāi)發(fā)、優(yōu)化。在數值計算和深度學(xué)習領(lǐng)域，矩陣乘法（GEMM）及其變種（如FlashAttention、Convolution）是構建復雜上層應用的基石。然而，為了追求更高的算子融合效率或更創(chuàng )新的算法，開(kāi)發(fā)者們往往需要超越標準化計算接口的限制，如標準BLAS接口以及芯片廠(chǎng)商的計算庫接口，以實(shí)現高性能的定制化算子。MUTLASS正是為滿(mǎn)足這一需求而設計。 針對矩陣乘法及相關(guān)變種，MUTLASS提供了一系列高性能的C++模板組件，并采用了與muDNN庫類(lèi)似的分層分解及數據搬運策略，以確保性能的充分發(fā)揮。在本次開(kāi)源的版本中，摩爾線(xiàn)程適配了CuTe后端庫，為其增加了第三代MUSA架構的MMA計算原語(yǔ)，支持TF32/FP16/BF16/INT8等多種數據精度。以此為基礎，初步實(shí)現了矩陣乘法、默認實(shí)例庫、性能測試器及相關(guān)工具包的支持。 借助MUTLASS，開(kāi)發(fā)者們既可以靈活復用不同層級的模板組件，也可以按需修改各種模板組件的實(shí)現細節，以較低的開(kāi)發(fā)成本實(shí)現定制化的高性能算子。這將在摩爾線(xiàn)程全功能GPU上充分釋放性能，并鼓勵開(kāi)發(fā)者嘗試更多的算法創(chuàng )新。摩爾線(xiàn)程表示，將持續優(yōu)化MUTLASS的性能，并不斷引入新的功能。 摩爾線(xiàn)程的這一開(kāi)源舉措，不僅為開(kāi)發(fā)者提供了更為便捷和高效的工具，同時(shí)也展示了摩爾線(xiàn)程在推動(dòng)國產(chǎn)GPU生態(tài)建設方面的堅定決心。此前，摩爾線(xiàn)程已經(jīng)相繼開(kāi)源了OpenCV-MUSA計算機視覺(jué)庫、MooER音頻理解大模型以及vLLM-MUSA大語(yǔ)言模型高速推理框架，這些開(kāi)源項目都在不同程度上促進(jìn)了基于摩爾線(xiàn)程GPU的應用開(kāi)發(fā)和算法創(chuàng )新。 |
