《電子技術應用》
您所在的位置:首頁 > 人工智能 > 業界動態 > Intel首批通過我國AISBench大模型性能測試

Intel首批通過我國AISBench大模型性能測試

5代至強可達每秒2493 token
2024-09-06
來源:快科技

9月5日消息,近日,第五代英特爾至強處理器,以優秀的表現通過了中國電子技術標準化研究院組織的人工智能服務器系統性能測試AISBench)。

借此,英特爾也成為首批通過AISBench大語言模型(LLM)推理性能測試的企業。

1.jpg

在AISBench 2.0測試工具的評估下,第五代英特爾至強處理器在ChatGLM V2-6B(60億參數)和Llama2-13B(130億參數)兩個模型上均展現了卓越的性能,能夠滿足輕量級大語言模型的實時推理要求。

測試結果顯示,在60億參數的ChatGLM V2模型通用推理中,當輸入輸出序列為256時,處理器可達每秒2493 token的性能;當輸入輸出序列為2048時,性能為每秒926 token。

在130億參數的Llama2模型通用推理中,當輸入輸出為256時,性能為每秒513 token;當輸入輸出序列為2048時,性能為每秒132 token。

2.jpg

AISBench 2.0的測試結果,驗證了英特爾至強在運行輕量級大語言模型時展現出的優異推理性能。

也使得客戶可以通過基于至強的服務器,構建一個通用AI系統進行數據預處理、模型推理和部署,從而獲得兼具AI性能、效率、準確性和可擴展性的組合。

同時還彰顯了英特爾至強可以為企業提供“開箱即用”的功能,即可以在通用系統上部署一部分AI工作負載,從而為客戶帶來更佳的總體擁有成本(TCO)優勢。


Magazine.Subscription.jpg

本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 韩国精品福利一区二区三区 | 五月激情婷婷网| 日本a免费观看| 日本按摩高潮a级中文片| 什么网站可以看毛片| 69国产成人精品午夜福中文| 校花哭着扒开屁股浣肠于柔| 国产偷国产偷亚洲高清人| 一级特级黄色片| 欧美高清性色生活片免费观看| 国产激情一区二区三区在线观看| youjizcom亚洲| 欧美三级日韩三级| 国产乱人伦真实精品视频| 一个人hd高清在线观看| 日韩精品久久久久久久电影| 啊哈~在加了一根手指| 99久久国产免费福利| 最近免费中文字幕大全高清大全1| 免费久久人人爽人人爽AV| 18岁大陆女rapper欢迎你| 日本高清免费一本视频无需下载 | 国产在线一区二区三区在线| 91精品国产色综合久久不卡蜜 | 欧美人妖视频网站| 国产91在线看| 99在线精品视频在线观看| 春雨直播免费直播视频在线观看下载| 啊轻点灬大ji巴黑人太粗| 91欧美精品综合在线观看| 成人A级视频在线播放| 亚洲欧洲无码一区二区三区| 都市激情校园春色亚洲| 天天碰免费视频| 亚洲va乱码一区二区三区| 美女张开腿让男人桶的视频 | 国产精品多p对白交换绿帽| chinese国产在线视频| 最刺激黄a大片免费观看下截| 亚洲精品一卡2卡3卡四卡乱码| 精品人妻少妇一区二区三区不卡 |