《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 人工智能 > 解決方案 > 華為展示CloudMatrix 384超級(jí)AI服務(wù)器

華為展示CloudMatrix 384超級(jí)AI服務(wù)器

推理效率超NV H100! 384顆昇騰NPU+192顆鯤鵬CPU全對(duì)等互聯(lián)
2025-07-01
來(lái)源:快科技

7月1日消息,前不久,華為創(chuàng)始人任正非接受《人民日?qǐng)?bào)》采訪(fǎng)時(shí)為中國(guó)芯片指路——芯片問(wèn)題其實(shí)沒(méi)必要擔(dān)心,用疊加和集群等方法,計(jì)算結(jié)果上與最先進(jìn)水平是相當(dāng)?shù)摹?/p>

他坦言,我們單芯片還是落后美國(guó)一代,我們用數(shù)學(xué)補(bǔ)物理、非摩爾補(bǔ)摩爾,用群計(jì)算補(bǔ)單芯片,在結(jié)果上也能達(dá)到實(shí)用狀況。

任正非認(rèn)為,中國(guó)在中低端芯片上是可以有機(jī)會(huì)的,中國(guó)數(shù)十、上百家芯片公司都很努力。特別是化合物半導(dǎo)體機(jī)會(huì)更大。硅基芯片,我們用數(shù)學(xué)補(bǔ)物理、非摩爾補(bǔ)摩爾,利用集群計(jì)算的原理,可以達(dá)到滿(mǎn)足我們現(xiàn)在的需求。

那華為是怎么做的呢?

1.jpg

日前,華為云官微通過(guò)一段視頻展示了CloudMatrix 384超節(jié)點(diǎn)算力集群的威力——

384顆昇騰NPU(昇騰910C)+192顆鯤鵬CPU全對(duì)等互聯(lián),形成一臺(tái)“超級(jí)AI服務(wù)器”;

業(yè)界最大單卡推理吞吐量——2300Tokens/s;

業(yè)界最大集群算力——16萬(wàn)卡,萬(wàn)卡線(xiàn)性度高達(dá)95%;

云上確定性運(yùn)維-40天長(zhǎng)穩(wěn)訓(xùn)練、10分鐘快速恢復(fù)。

華為云表示,新一代昇騰AI云服務(wù),是最適合大模型應(yīng)用的算力服務(wù)。

2.jpg

3.jpg

4.jpg

此前,華為還發(fā)布了一一篇60頁(yè)的重磅論文,提出了他們的下一代AI數(shù)據(jù)中心架構(gòu)設(shè)計(jì)構(gòu)想——Huawei CloudMatrix,以及該構(gòu)想的第一代產(chǎn)品化的實(shí)現(xiàn)CloudMatrix384。

簡(jiǎn)單來(lái)說(shuō),華為CloudMatrix并非簡(jiǎn)單的“堆卡”,而是通過(guò)高帶寬全對(duì)等互聯(lián)(Peer-to-Peer)來(lái)設(shè)計(jì),這也是CloudMatrix 384硬件架構(gòu)的一大創(chuàng)新。

傳統(tǒng)的AI集群中,CPU相當(dāng)于公司領(lǐng)導(dǎo)的角色,NPU等其它硬件更像是下屬,數(shù)據(jù)傳輸?shù)倪^(guò)程中就需要CPU審批和簽字,效率就會(huì)大打折扣。

但在CloudMatrix384中,CPU和NPU等硬件更像是一個(gè)扁平化管理的團(tuán)隊(duì),它們之間的地位比較平等,直接通過(guò)UB網(wǎng)絡(luò)通信直接對(duì)話(huà),效率自然就上來(lái)了。

另外,論文還介紹了基于CloudMatrix384進(jìn)行DeepSeek推理的最佳實(shí)踐方案——CloudMatrix-Infer。

5.jpg

6.jpg

從官方給出的案例來(lái)看,CloudMatrix384預(yù)填充吞吐量達(dá)6688 token/s/NPU,解碼階段1943 token/s/NPU;計(jì)算效率方面,預(yù)填充達(dá)4.45 token/s/TFLOPS,解碼階段1.29 token/s/TFLOPS,均超過(guò)NVIDIA H100/H800上實(shí)現(xiàn)的性能。


Magazine.Subscription.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀(guān)點(diǎn)。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無(wú)法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問(wèn)題,請(qǐng)及時(shí)通過(guò)電子郵件或電話(huà)通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話(huà):010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 日本japanese丰满护士| 狠狠色成人综合首页| 国产精品沙发午睡系列999| 中国好声音第二季免费播放| 欧美亚洲综合网| 免费观看成人毛片| 野花社区在线观看www| 国产精品视频播放| 一区二区三区四区欧美| 日本黄色小视频在线观看| 亚洲欧洲自拍拍偷午夜色无码| 高清国产一级毛片国语| 国产麻豆videoxxxx实拍| 一级毛片大全免费播放下载| 日韩AV片无码一区二区不卡| 亚洲日本va午夜中文字幕一区| 精品人人妻人人澡人人爽人人 | 一二三四视频日本高清| 日韩国产精品99久久久久久| 亚洲校园春色另类激情| 粉色视频下载观看视频| 国产一区在线视频观看| 欧美人xxxx| 国产精品线在线精品| gav男人天堂| 成人国产在线24小时播放视频| 久久精品欧美日韩精品| 欧美成人伊人十综合色| 人人妻人人澡人人爽欧美一区| 美女吸乳羞羞漫画| 国产免费内射又粗又爽密桃视频| 大胸喷奶水的www的视频网站| 在线观看欧美国产| 一本丁香综合久久久久不卡网站| 日本不卡在线播放| 亚洲一区二区三区丝袜| 毛片基地看看成人免费| 免费一级欧美在线观看视频片| 美女胸又大又黄又www的网站| 国产交换配乱婬视频| 激情黄+色+成+人|