近期，中國移動實現(xiàn)智算萬卡池在長周期訓(xùn)練場景下持續(xù)穩(wěn)定運行，訓(xùn)練穩(wěn)定性達(dá)到行業(yè)領(lǐng)先水平，有效解決了超大規(guī)模算力集群調(diào)度、高可靠通信保障、故障智能診斷與快速自愈等業(yè)界難題。
隨著人工智能技術(shù)的爆發(fā)式發(fā)展，大模型參數(shù)規(guī)模從百億級向萬億級躍升，對智算基礎(chǔ)設(shè)施的算力密度、穩(wěn)定性和協(xié)同效率提出了前所未有的挑戰(zhàn)。針對萬卡級規(guī)模協(xié)同訓(xùn)練場景，全球普遍面臨智算集群穩(wěn)定性瓶頸問題。中國移動依托哈爾濱數(shù)據(jù)中心智算集群，主導(dǎo)研發(fā)全調(diào)度以太網(wǎng)（GSE）技術(shù)體系，打造慢卡慢網(wǎng)絡(luò)風(fēng)險識別、斷點續(xù)訓(xùn)、AI運維智能體等新技術(shù)，攻克了超大規(guī)模智算基礎(chǔ)設(shè)施運行的關(guān)鍵技術(shù)瓶頸。在協(xié)同管理機制上，中國移動以“五個一”卓越運維體系為指導(dǎo)，通過多輪流程優(yōu)化攻堅，將故障處理流程大幅壓縮，實現(xiàn)客戶需求“一點響應(yīng)”的端到端閉環(huán)。
中國移動“五個一”智算運維體系
在關(guān)鍵技術(shù)突破層面，團隊重點攻關(guān)三大核心難題。一是創(chuàng)新慢卡慢網(wǎng)絡(luò)風(fēng)險識別技術(shù)，實現(xiàn)典型場景故障全部感知、提升診斷準(zhǔn)確率；二是研發(fā)斷點續(xù)訓(xùn)機制，實現(xiàn)故障節(jié)點自動隔離后訓(xùn)練狀態(tài)的分鐘級回滾，硬件故障導(dǎo)致的斷訓(xùn)量下降50%；三是引入AI運維智能體，通過多層架構(gòu)日志分析系統(tǒng)實現(xiàn)分鐘級故障定界，覆蓋25類軟硬件故障解決方案，將故障處理時長從數(shù)天級降至分鐘級。訓(xùn)練任務(wù)使用一萬余張NPU板卡，全程保持集群可用率、服務(wù)可用率達(dá)到三個九的超高穩(wěn)定性，其中NPU故障占比、光鏈路故障率大幅降低，充分驗證了技術(shù)方案的有效性。
NPU端口異常導(dǎo)致性能劣化場景案例展示
在卓越運維能力方面，中國移動在黑龍江、廣東打造了智算運維樣板間，首創(chuàng)訓(xùn)推一體的智算統(tǒng)一運維體系，率先構(gòu)建了覆蓋應(yīng)用、模型、算力全棧的智能運維能力，業(yè)界領(lǐng)先探索應(yīng)用-模型-算力的最佳實踐與黃金運維指標(biāo)體系，依托AI技術(shù)實現(xiàn)分鐘級智算業(yè)務(wù)故障智能處置修復(fù)和能效算效雙優(yōu)，支撐黨政、金融、教育等十大行業(yè)優(yōu)勢卡位，賦能智能制造、生態(tài)保護(hù)、智慧政務(wù)、隱私保護(hù)等社會關(guān)鍵領(lǐng)域，支撐外部客戶數(shù)百場智算樣板間參觀展示、近百次頂層規(guī)劃和解決方案設(shè)計，創(chuàng)造超10億元直接經(jīng)濟效益。
中國移動智算運維樣板間正式發(fā)布
中國移動這一系列突破遠(yuǎn)超技術(shù)層面，從行業(yè)維度看，智算萬卡池長穩(wěn)訓(xùn)練時長的大幅度提升，標(biāo)志著我國在超大規(guī)模智算集群管控領(lǐng)域已具備領(lǐng)先水平，兩大智算運維樣板間也必將充分發(fā)揮產(chǎn)業(yè)示范和標(biāo)桿作用，不僅在國內(nèi)形成示范，更為全球超大規(guī)模智算集群的訓(xùn)練與運維提供了中國方案和中國標(biāo)準(zhǔn)；從經(jīng)濟價值看，長穩(wěn)運行能力直接將大模型訓(xùn)練周期縮短近三分之一，資源利用率近100%，為AI技術(shù)工業(yè)化量產(chǎn)奠定基礎(chǔ)；從社會價值看，穩(wěn)定的智算底座可支撐自動駕駛、生物醫(yī)藥、新材料研發(fā)等前沿領(lǐng)域的突破，加速科技創(chuàng)新與產(chǎn)業(yè)升級，成為推動新質(zhì)生產(chǎn)力發(fā)展和經(jīng)濟社會數(shù)智化轉(zhuǎn)型的核心引擎。
未來，中國移動將持續(xù)引領(lǐng)智算先鋒產(chǎn)業(yè)，大力推動算力基礎(chǔ)設(shè)施從“通算為主”向“云智算”轉(zhuǎn)變，支撐多樣化、個性化、極致化計算需求，構(gòu)筑新一代智能算力服務(wù)體系，從支撐大模型研發(fā)到賦能實體經(jīng)濟，以領(lǐng)先的智算基礎(chǔ)設(shè)施為我國人工智能產(chǎn)業(yè)加速升級提供堅實可靠的算力底座，為中國數(shù)字經(jīng)濟高質(zhì)量發(fā)展注入澎湃動能。
