在華為全聯(lián)接大會2025期間，以“與時代，共昇騰”為主題的昇騰AI人工智能產(chǎn)業(yè)峰會在上海成功舉行。現(xiàn)場，昇騰聯(lián)合行業(yè)伙伴發(fā)布大規(guī)模專家并行（大EP）技術(shù)在運營商、政務(wù)、教育、金融、大模型、電力六大行業(yè)的優(yōu)秀實踐，展現(xiàn)推理系統(tǒng)構(gòu)建突破，助力企業(yè)智能化升級，帶來極致 AI 推理體驗。
六大行業(yè)大規(guī)模專家并行優(yōu)秀實踐正式發(fā)布
當(dāng)前，MoE模型成大模型落地重要方向，但企業(yè)部署面臨多重難題：傳統(tǒng)方式需頻繁切換硬件集群、適配底層硬件，導(dǎo)致推理系統(tǒng)搭建周期長、成本高；且現(xiàn)有方案難平衡性能與資源利用率，高并發(fā)場景下吞吐不足、時延高，“碎片化”部署無法滿足規(guī)模化應(yīng)用需求，阻礙AI技術(shù)產(chǎn)業(yè)滲透。
為有效解決以上問題，昇騰依托AI基礎(chǔ)軟硬件優(yōu)勢，聯(lián)合伙伴打造“開箱即用”的大規(guī)模專家并行（大EP）解決方案。硬件上，以昇騰384超節(jié)點為核心，基于靈衢互聯(lián)協(xié)議，通信帶寬提升15倍、時延降至200ns內(nèi)；架構(gòu)上，首創(chuàng)“1卡1專家”模式，配合昇騰基礎(chǔ)軟件加速，系統(tǒng)推理吞吐提升4倍以上，實現(xiàn)“1份投入，4份產(chǎn)出”；軟件上，方案內(nèi)置全新MindIE Motor推理服務(wù)加速庫，提供大EP部署、PD分離配置、DP負載均衡、分鐘級故障恢復(fù)等能力，大幅降低大EP開發(fā)部署維護門檻。
目前，該方案已在六大行業(yè)規(guī)模化落地。運營商領(lǐng)域支撐高并發(fā)業(yè)務(wù)，部分企業(yè)相關(guān)調(diào)用成本降超50%；政務(wù)場景助力打造AI輔助審判系統(tǒng)；教育領(lǐng)域服務(wù)數(shù)萬師生，2k輸入輸出場景吞吐性能提3倍以上；金融行業(yè)風(fēng)控等業(yè)務(wù)響應(yīng)能力提3倍以上；電力系統(tǒng)高效處理供電方案生成等需求；大模型企業(yè)完成多行業(yè)分布式推理系統(tǒng)部署。
此次實踐發(fā)布，標志AI推理進入高效可靠新階段，彰顯昇騰技術(shù)引領(lǐng)地位。未來，昇騰將持續(xù)攜手伙伴，深化全鏈路創(chuàng)新，推動大模型與行業(yè)深度融合，提供更多“開箱即用”方案，加速全場景、全行業(yè)AI應(yīng)用落地，開啟AI推理新時代。
