11月21日消息,發(fā)布負載據(jù)媒體報道,新技華為今日正式發(fā)布Flex:ai AI容器軟件。術單時承該產(chǎn)品的卡同核心突破在于運用算力切分技術,可將單張GPU/NPU算力卡精細切分為多個虛擬算力單元,載多資源最小粒度精準至10%。工作
這一創(chuàng)新使得單張算力卡能夠同時承載多個AI工作負載,提升顯著提升硬件資源利用率。硬件
同時,利用率Flex:ai能夠將集群內(nèi)各計算節(jié)點的發(fā)布負載空閑XPU算力進行高效聚合,形成統(tǒng)一的新技“共享算力池”,實現(xiàn)算力資源的術單時承全局調度與靈活分配。
其核心技術原理是卡同一套深度融合軟硬件的系統(tǒng)工程,覆蓋從底層芯片到頂層調度。載多資源通過創(chuàng)新性的工作軟件技術深度挖掘硬件潛力,F(xiàn)lex:ai成功將GPU/NPU的典型利用率從30%-40%提升至70%,有效踐行了“以軟件補硬件”的理念。
在硬件協(xié)同方面,Flex:ai深度整合華為自研的昇騰AI處理器,通過軟硬件協(xié)同設計優(yōu)化,實現(xiàn)了最佳的性能功耗比。
特別在大模型訓練場景中,F(xiàn)lex:ai通過軟件層面的創(chuàng)新,實現(xiàn)了對包括英偉達GPU、昇騰NPU在內(nèi)的多種異構算力資源的統(tǒng)一管理與調度,有效解決了當前大模型訓練面臨的算力效率瓶頸問題。
據(jù)悉,Flex:ai將在發(fā)布后同步開源在魔擎社區(qū)中,以促進技術共享與生態(tài)發(fā)展。