MoE大模型迎來“原生戰(zhàn)友”：昇騰超節(jié)點(diǎn)重構(gòu)AI基礎(chǔ)設(shè)施

原創(chuàng) 贊收藏 評(píng)論

舉報(bào) 2025-05-18

掃描,分享朋友圈

對(duì)AI比較關(guān)注的話，大概率會(huì)聽到下面兩個(gè)“時(shí)髦”的概念：

一個(gè)是Scaling Law，通常被翻譯為“規(guī)模定律”，得出了一個(gè)通俗易懂的結(jié)論——“模型越大，性能越好。”

另一個(gè)是MoE架構(gòu)，中文名稱是混合專家模型，相對(duì)應(yīng)的概念是稠密（Dense）模型。如果說稠密模型一個(gè)“通才”，由一個(gè)“專家”處理多種不同的任務(wù)，MoE則是將任務(wù)分門別類，分給多個(gè)“專家”進(jìn)行解決。

Scaling Law和MoE的出鏡率越來越高，意味著大模型的參數(shù)量將越來越大，同時(shí)開始提升“能力密度”。直接相關(guān)的就是大模型的訓(xùn)練和推理，正在從粗放燒錢到精細(xì)調(diào)優(yōu)，從堆算力轉(zhuǎn)向算力利用率最大化。

站在大模型工程化創(chuàng)新的十字路口，恰逢鯤鵬昇騰開發(fā)者大會(huì)2025前夕，“昇騰超節(jié)點(diǎn)”迅速成為技術(shù)圈的熱門話題。

由此產(chǎn)生的一個(gè)問題是：MoE架構(gòu)大模型的訓(xùn)練都遇到了哪些挑戰(zhàn)，昇騰給出了什么新解法？

01 MoE架構(gòu)成主流，大模型訓(xùn)練遇到“三座大山”

Mixtral、DeepSeek R1、Llama 4、Qwen3……近一年現(xiàn)象級(jí)刷屏的大模型，清一色地采用了MoE架構(gòu)。

原因離不開MoE的架構(gòu)創(chuàng)新。

每個(gè)專家負(fù)責(zé)任務(wù)的一部分，極大地提升了模型的可擴(kuò)展性；每個(gè)專家都能針對(duì)整個(gè)問題的特定方面進(jìn)行微調(diào)，進(jìn)一步提升了模型的專業(yè)化和準(zhǔn)確性；每次請(qǐng)求只激活部分專家，顯著減少了每次推理的計(jì)算負(fù)荷……

當(dāng)MoE架構(gòu)演變?yōu)榇竽Ｐ偷闹髁鞣妒剑煞?wù)器、存儲(chǔ)、網(wǎng)絡(luò)等設(shè)備堆疊而成的傳統(tǒng)集群，在大模型訓(xùn)練上遇到了“三座大山”。

一是資源利用率低。

MoE架構(gòu)對(duì)負(fù)載均衡非常敏感，路由機(jī)制如果分布不均，某些專家會(huì)頻繁被調(diào)用，而其他專家?guī)缀蹰e置。

傳統(tǒng)AI集群部署MoE模型時(shí)，每臺(tái)服務(wù)器只部署部分專家，缺乏全局調(diào)度能力。由于路由機(jī)制無法感知底層資源狀態(tài)，可能導(dǎo)致部分服務(wù)器的使用率大于90%，部分服務(wù)器幾乎不參與計(jì)算。結(jié)果就是，GPU的利用率遠(yuǎn)低于理論峰值，直接拉長(zhǎng)了模型的訓(xùn)練周期，提升了能耗與成本。

二是系統(tǒng)穩(wěn)定性差。

MoE架構(gòu)依賴動(dòng)態(tài)路由+專家選擇，對(duì)系統(tǒng)的持續(xù)穩(wěn)定性要求遠(yuǎn)高于傳統(tǒng)Dense模型，讓工程的復(fù)雜度陡升。

在傳統(tǒng)AI集群上訓(xùn)練MoE模型，任何一個(gè)節(jié)點(diǎn)的故障，都可能導(dǎo)致整個(gè)訓(xùn)練任務(wù)失敗。比如某MoE大模型的訓(xùn)練過程，由于集群規(guī)模超過1000張加速卡，平均無故障運(yùn)行時(shí)間不足6小時(shí)，每24小時(shí)需重新調(diào)度兩次以上，單次訓(xùn)練需要數(shù)天乃至數(shù)周，運(yùn)維人員長(zhǎng)期處于高強(qiáng)度監(jiān)控狀態(tài)。

三是通信帶寬瓶頸。

MoE架構(gòu)的“小專家”，理論上可以節(jié)省計(jì)算資源，前提是能靈活高效地選擇和調(diào)度，對(duì)通信帶寬提出了極高要求。

在傳統(tǒng)AI集群中，GPU之間通過PCle或InfiniBand通信，激活路由涉及大量跨卡、跨節(jié)點(diǎn)訪問，導(dǎo)致在All-to-All通信模式下，MoE架構(gòu)的通信壓力遠(yuǎn)大于Dense架構(gòu)，訓(xùn)練速度甚至比Dense更慢。當(dāng)GPU資源被通信“拖死”，哪怕是業(yè)界主流的高帶寬GPU，訓(xùn)練效率也難以線性提升。

以上還只是大模型訓(xùn)練時(shí)的常見痛點(diǎn)。

倘若推理階段依然部署在傳統(tǒng)AI集群上，在不支持高頻動(dòng)態(tài)路由和異構(gòu)推理請(qǐng)求的環(huán)境下，用戶請(qǐng)求要觸發(fā)不同專家組合，再加上請(qǐng)求跳轉(zhuǎn)至跨節(jié)點(diǎn)專家時(shí)時(shí)延大，有些請(qǐng)求的延遲高達(dá)200ms以上。

訓(xùn)練系統(tǒng)的可用性，決定著智能化的速度。無法解決資源利用率低、系統(tǒng)穩(wěn)定性差、通信帶寬瓶頸的傳統(tǒng)AI集群，已經(jīng)不符合大模型的創(chuàng)新趨勢(shì)。

02 更親和MoE架構(gòu)，“昇騰超節(jié)點(diǎn)”有何不同？

傳統(tǒng)AI集群的本質(zhì)是做加法，即通過硬件堆疊的方式提升算力，在大模型早期確實(shí)奏效，短板也很明顯。

被技術(shù)圈追捧的昇騰超節(jié)點(diǎn)，可以看作是算力集群走向“乘法”式增長(zhǎng)的標(biāo)志，不僅僅是計(jì)算，進(jìn)一步結(jié)合了存儲(chǔ)、通信等能力，計(jì)算性能倍增的同時(shí)，實(shí)現(xiàn)了時(shí)延、吞吐、負(fù)載均衡等能力的整體躍遷。

用一句話總結(jié)的話，昇騰超節(jié)點(diǎn)實(shí)現(xiàn)了讓384張卡像一臺(tái)計(jì)算機(jī)一樣工作，更親和MoE架構(gòu)。

根源是昇騰的四個(gè)針對(duì)性創(chuàng)新。

第一個(gè)是自研高速互聯(lián)協(xié)議，能夠?qū)⒊砂偕锨€(gè)NPU以TB級(jí)帶寬超高速互聯(lián)，大幅提升了并行計(jì)算的通信效率。

相較于傳統(tǒng)集群，實(shí)現(xiàn)超低延遲、高帶寬通信的昇騰超節(jié)點(diǎn)，大模型訓(xùn)練的All-to-All通信性能可提升5倍，send/recv集合通信性能可提升7倍，進(jìn)而大幅降低了整體通信占比，讓計(jì)算少等待、不等待。打破了通信上存在的瓶頸，整體訓(xùn)練效率提升了3倍、推理吞吐提升了6倍。

第二個(gè)是軟硬件協(xié)同調(diào)度，通過異構(gòu)計(jì)算平臺(tái)CANN的協(xié)同，支持專家調(diào)度感知訓(xùn)練負(fù)載與NPU負(fù)載實(shí)時(shí)狀態(tài)。

針對(duì)MoE模型訓(xùn)練中專家熱點(diǎn)分布造成部分計(jì)算節(jié)點(diǎn)過載的問題，昇騰“超節(jié)點(diǎn)架構(gòu)”能夠依據(jù)MoE結(jié)構(gòu)中專家分布以及每層的計(jì)算需求，精細(xì)地將個(gè)模型切分至不同節(jié)點(diǎn)，更合理分配資源，提高整體資源利用率，同時(shí)可運(yùn)行多種并行策略并動(dòng)態(tài)調(diào)整，針對(duì)實(shí)時(shí)的負(fù)載情況精準(zhǔn)分配計(jì)算資源。

第三個(gè)是全局內(nèi)存統(tǒng)一編址，所有的節(jié)點(diǎn)共享一套全局內(nèi)存體系，數(shù)據(jù)無需頻繁搬移，以此來提高訓(xùn)練的效率。

DeepSeek R1已經(jīng)有288個(gè)專家，不排除大模型專家數(shù)量越來越多的可能。支持全局內(nèi)存統(tǒng)一編址的昇騰超節(jié)點(diǎn)，具備更高效的內(nèi)存語義通信能力，通過更低時(shí)延指令級(jí)內(nèi)存語義通信，可滿足大模型訓(xùn)練/推理中的小包通信需求，提升專家網(wǎng)絡(luò)小包數(shù)據(jù)傳輸及離散隨機(jī)訪存通信效率。

第四個(gè)是系統(tǒng)穩(wěn)定性的提升，保證訓(xùn)練不中斷、推理更可靠，大幅降低了MoE大模型的部署和運(yùn)維門檻。

比如MoE訓(xùn)練過程一旦某專家節(jié)點(diǎn)異常，可能導(dǎo)致全局失敗的問題。昇騰超節(jié)點(diǎn)采用了7平面的鏈路設(shè)計(jì)、鏈路故障秒級(jí)切換、算子級(jí)重傳等可靠性能力，確保大模型訓(xùn)練不中斷，平均無故障運(yùn)行時(shí)長(zhǎng)從幾小時(shí)提升到幾天。同時(shí)支持更敏捷的斷點(diǎn)續(xù)訓(xùn)，故障恢復(fù)時(shí)長(zhǎng)從小時(shí)級(jí)降低至15分鐘。

可以佐證的是，基于超節(jié)點(diǎn)設(shè)計(jì)的AI集群Atlas 900 A3 SuperCluster，在測(cè)試中突破了Scale Up物理節(jié)點(diǎn)計(jì)算瓶頸，平均無故障運(yùn)行時(shí)長(zhǎng)達(dá)到數(shù)天，訓(xùn)練效率提升了2.7倍；由于所有專家集中部署在一個(gè)超節(jié)點(diǎn)，在推理過程中實(shí)現(xiàn)了15ms超低延遲和高吞吐能力，對(duì)推薦系統(tǒng)、搜索排序、智能客服等對(duì)延遲極敏感的應(yīng)用場(chǎng)景更加友好。

03 算力創(chuàng)新蝶變：從“硬件堆疊”到“系統(tǒng)級(jí)協(xié)同”

除了性能上的提升，MoE架構(gòu)創(chuàng)新的另一個(gè)深遠(yuǎn)影響，在于降低了推理階段的綜合成本。

過去，大模型的強(qiáng)大性能往往伴隨著極高的算力消耗，導(dǎo)致部署門檻極高。MoE通過“按需激活”的專家機(jī)制，在保證精度的同時(shí)大幅節(jié)省了計(jì)算資源，為企業(yè)級(jí)、行業(yè)級(jí)AI應(yīng)用的落地打通了路徑。

昇騰在算力底層架構(gòu)上的實(shí)干式創(chuàng)新，向外界揭示了一個(gè)新的趨勢(shì)：當(dāng)大模型走出實(shí)驗(yàn)室，走向生產(chǎn)一線，走向規(guī)模化應(yīng)用，為AI提供源動(dòng)力的基礎(chǔ)設(shè)施，不再是“硬件堆疊”，而是計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)的“系統(tǒng)級(jí)協(xié)同”。

不單單是親和MoE模型，搬走了大模型訓(xùn)練的“三座大山”，還預(yù)示著AI基礎(chǔ)設(shè)施的“工程可控性”和“業(yè)務(wù)適配性”，更好地支持大模型在工業(yè)、能源、交通、金融等領(lǐng)域的規(guī)模化部署。

本文系作者授權(quán)數(shù)英發(fā)表，內(nèi)容為作者獨(dú)立觀點(diǎn)，不代表數(shù)英立場(chǎng)。
未經(jīng)授權(quán)嚴(yán)禁轉(zhuǎn)載，授權(quán)事宜請(qǐng)聯(lián)系作者本人，侵權(quán)必究。