《電子技術應用》
您所在的位置:首頁 > 人工智能 > 業界動態 > Intel首批通過我國AISBench大模型性能測試

Intel首批通過我國AISBench大模型性能測試

5代至強可達每秒2493 token
2024-09-06
來源:快科技

9月5日消息,近日,第五代英特爾至強處理器,以優秀的表現通過了中國電子技術標準化研究院組織的人工智能服務器系統性能測試AISBench)。

借此,英特爾也成為首批通過AISBench大語言模型(LLM)推理性能測試的企業。

1.jpg

在AISBench 2.0測試工具的評估下,第五代英特爾至強處理器在ChatGLM V2-6B(60億參數)和Llama2-13B(130億參數)兩個模型上均展現了卓越的性能,能夠滿足輕量級大語言模型的實時推理要求。

測試結果顯示,在60億參數的ChatGLM V2模型通用推理中,當輸入輸出序列為256時,處理器可達每秒2493 token的性能;當輸入輸出序列為2048時,性能為每秒926 token。

在130億參數的Llama2模型通用推理中,當輸入輸出為256時,性能為每秒513 token;當輸入輸出序列為2048時,性能為每秒132 token。

2.jpg

AISBench 2.0的測試結果,驗證了英特爾至強在運行輕量級大語言模型時展現出的優異推理性能。

也使得客戶可以通過基于至強的服務器,構建一個通用AI系統進行數據預處理、模型推理和部署,從而獲得兼具AI性能、效率、準確性和可擴展性的組合。

同時還彰顯了英特爾至強可以為企業提供“開箱即用”的功能,即可以在通用系統上部署一部分AI工作負載,從而為客戶帶來更佳的總體擁有成本(TCO)優勢。


Magazine.Subscription.jpg

本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 欧洲精品码一区二区三区免费看 | 男人j进入女人j内部免费网站 | 久久久精品人妻一区二区三区| 香蕉伊思人在线精品| 放荡的女老板bd| 亚洲国产精品无码久久久秋霞2| 精品视频麻豆入口| 国语free性xxxxxhd| 久久久久久久久蜜桃| 精品久久久久久中文字幕无碍| 在线日韩日本国产亚洲| 亚洲三级黄色片| 香蕉人人超人人超碰超国产| 成人免费看黄20分钟| 亚洲电影在线播放| 国产精品视频h| 在线观看亚洲一区二区| 中文字幕在线播放视频| 日韩综合无码一区二区| 亚洲永久精品ww47| 粗大的内捧猛烈进出在线视频| 国产免费人成视频在线观看| yin荡护士揉捏乱p办公室视频| 日韩精品免费一级视频| 亚洲欧美另类中文字幕 | 色偷偷91综合久久噜噜| 国产精品igao视频网网址| aaa毛片在线| 日韩精品无码一区二区三区AV | 在线免费观看一级毛片| 一级黄色大片网站| 欧美国产激情18| 先锋影音男人资源| 美女被爆羞羞网站免费| 国产好深好硬好爽我还要视频| www.天天操.com| 最好2018中文免费视频| 免费看成年人网站| 天天影视综合网色综合国产| 性无码专区无码| 久久久久性色av毛片特级|