《電子技術應用》
您所在的位置:首頁 > 人工智能 > 業界動態 > 英偉達宣布創造滿血DeepSeek-R1模型AI推理性能的世界紀錄

英偉達宣布創造滿血DeepSeek-R1模型AI推理性能的世界紀錄

2025-03-19
來源:IT之家
關鍵詞: 英偉達 Deepseek AI推理

3 月 19 日消息,英偉達在今日舉行的 NVIDIA GTC 2025 上宣布其 NVIDIA Blackwell DGX 系統創下 DeepSeek-R1 大模型推理性能的世界紀錄。

00.png

據介紹,在搭載了八塊 Blackwell GPU 的單個 DGX 系統上運行 6710 億參數的滿血 DeepSeek-R1 模型可實現每用戶每秒超 250 token 的響應速度,系統最高吞吐量突破每秒 3 萬 token。

英偉達表示,隨著 NVIDIA 平臺繼續在最新的 Blackwell Ultra GPU 和 Blackwell GPU 上突破推理極限,其性能將會繼續不斷提高。

00.png

▲ 運行 TensorRT-LLM 軟件的 NVL8 配置的 NVIDIA B200 GPU 

單節點配置:DGX B200(8 塊 GPU)與 DGX H200(8 塊 GPU)

測試參數:最新測試采用 TensorRT-LLM 內部版本,輸入 1024 token / 輸出 2048 token;此前測試為輸入 / 輸出各 1024 token;并發

計算精度:B200 采用 FP4,H200 采用 FP8 精度

英偉達表示,通過硬件和軟件的結合,他們自 2025 年 1 月以來成功將 DeepSeek-R1 671B 模型的吞吐量提高了約 36 倍。

00.png

節點配置:DGX B200(8 塊 GPU)、DGX H200(8 塊 GPU)、兩個 DGX H100(8 塊 GPU)系統

測試參數:依然采用 TensorRT-LLM 內部版本,輸入 1024 token / 輸出 2048 token;此前測試為輸入 / 輸出各 1024 token;并發性 MAX

計算精度:B200 采用 FP4,H100 / H200 采用 FP8 精度

00.png

與 Hopper 架構相比,Blackwell 架構與 TensorRT 軟件相結合可實現顯著的推理性能提升。

英偉達表示,包括 DeepSeek-R1、Llama 3.1 405B 和 Llama 3.3 70B,運行 TensorRT 軟件并使用 FP4 精度的 DGX B200 平臺與 DGX H200 平臺相比已經提供了 3 倍以上的推理吞吐量提升。

00.png

英偉達表示,在對模型進行量化以利用低精度計算優勢時,確保精度損失最小化是生產部署的關鍵。IT之家注意到,在 DeepSeek-R1 模型上,相較于 FP8 基準精度,TensorRT Model Optimizer 的 FP4 訓練后量化(PTQ)技術在不同數據集上僅產生微乎其微的精度損失。


Magazine.Subscription.jpg

本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 亚洲自拍欧美综合| 国产特黄一级片| 丰满少妇被猛烈进入无码| 欧美精品www| 向日葵app在线观看下载视频免费| 影音先锋成人资源| 妖精视频免费网站| 久久国产精品老人性| 欧美日韩精品久久久免费观看| 午夜福利麻豆国产精品| 黄色大片网站在线观看| 国产色产综合色产在线观看视频 | 久久久久999| 欧美国产精品久久| 免费中国jlzzjlzz在线播放| 被三个男人绑着躁我好爽视频| 国产精品多p对白交换绿帽| japanmilkhdxxxxxmature| 日本免费观看网站| 国产天堂亚洲国产碰碰| AV无码免费看| 打开腿给医生检查黄文| 亚州人成网在线播放| 毛片免费vip会员在线看| 另类人妖交友网站| 香港特级a毛片免费观看| 国产精品天天干| fc2免费人成在线| 扒开双腿疯狂进出爽爽爽动态图| 亚洲av永久精品爱情岛论坛| 爽爽yin人网| 台湾佬中文222vvv娱乐网在线| 成人免费视频网站www| 国产精品香蕉在线观看不卡| 一本到中文字幕高清不卡在线| 日本高清一二三| 亚洲一区二区观看播放| 污污视频网站免费观看| 免费观看无遮挡www的小视频| 裴远之的原型人物是谁| 国产日产久久高清欧美一区|