近日，人工智能行業(yè)組織MLCommons發(fā)布了一組新的人工智能績(jī)效榜單MLPerf Version 1.1。其中可以看到，其遵循了五個(gè)月前的第一套官方基準(zhǔn)，包括來(lái)自20多個(gè)組織的1800多項(xiàng)結(jié)果，以及350項(xiàng)能源效率測(cè)量。根據(jù)MLCommons的數(shù)據(jù)，大多數(shù)系統(tǒng)的性能比今年早些時(shí)候提高了5-30%，其中一些系統(tǒng)的性能數(shù)據(jù)比以前提高了一倍多。在近日宣布一個(gè)新的機(jī)器學(xué)習(xí)基準(zhǔn)測(cè)試（稱(chēng)為T(mén)CP AIx）之后，出現(xiàn)了新的結(jié)果。
在MLPerf的推斷基準(zhǔn)測(cè)試中，由CPU和GPU或其他加速器芯片組合而成的系統(tǒng)在多達(dá)六個(gè)神經(jīng)網(wǎng)絡(luò)上進(jìn)行測(cè)試，這些神經(jīng)網(wǎng)絡(luò)執(zhí)行各種常見(jiàn)功能：圖像分類(lèi)、目標(biāo)檢測(cè)、語(yǔ)音識(shí)別、3D醫(yī)學(xué)成像、自然語(yǔ)言處理和推薦。對(duì)于基于商業(yè)數(shù)據(jù)中心的系統(tǒng)，他們?cè)趦煞N條件下進(jìn)行了測(cè)試：模擬實(shí)時(shí)數(shù)據(jù)中心活動(dòng)，其中查詢(xún)以突發(fā)方式完成；以及“離線”活動(dòng)，其中所有數(shù)據(jù)一次可用。本應(yīng)在現(xiàn)場(chǎng)工作而不是在數(shù)據(jù)中心工作的計(jì)算機(jī)（MLPerf稱(chēng)之為邊緣）是在離線狀態(tài)下測(cè)量的，就像它們接收到單一數(shù)據(jù)流一樣，例如來(lái)自安全攝像頭的數(shù)據(jù)流。
盡管有來(lái)自戴爾、HPE、浪潮、英特爾、LTech Korea、聯(lián)想、Nvidia、Neuchips、高通和其他公司的數(shù)據(jù)中心級(jí)提交，但除高通和Neuchips公司外，其他公司都使用了Nvidia AI加速器芯片。英特爾根本沒(méi)有使用加速器芯片，而是單獨(dú)展示其CPU的性能。Neuchips只參與了推薦基準(zhǔn)測(cè)試，因?yàn)樗麄兊募铀倨鱎ecAccel專(zhuān)門(mén)設(shè)計(jì)用于加速推薦電子商務(wù)項(xiàng)目和搜索結(jié)果排名的推薦系統(tǒng)。
MLPerf tests six common AIs under several conditions.NVIDIA
對(duì)于Nvidia提交的結(jié)果，該公司僅使用軟件改進(jìn)就彌補(bǔ)了過(guò)去一年50%的性能改進(jìn)。測(cè)試的系統(tǒng)通常由一個(gè)或兩個(gè)CPU以及多達(dá)八個(gè)加速器組成。在每臺(tái)加速器的基礎(chǔ)上，使用Nvidia A100加速器的系統(tǒng)顯示的性能是使用低功率Nvidia A30的系統(tǒng)的兩倍或更多。基于A30的計(jì)算機(jī)在服務(wù)器場(chǎng)景的六次測(cè)試中，有四次超過(guò)了基于高通公司Cloud AI 100的系統(tǒng)。
然而，高通公司產(chǎn)品管理高級(jí)總監(jiān)John Kehrli指出，高通公司的加速器被故意限制為每個(gè)芯片的數(shù)據(jù)中心友好型75瓦功率外殼，但在離線圖像識(shí)別任務(wù)中，他們?nèi)匀辉O(shè)法通過(guò)了一些基于Nvidia A100的計(jì)算機(jī)，這些計(jì)算機(jī)配備了加速器，每個(gè)加速器的峰值熱設(shè)計(jì)為400W。
Nvidia has made gains in AI using only software improvements.NVIDIA
Nvidia AI推論高級(jí)產(chǎn)品經(jīng)理Dave Salvator指出了該公司加速器的兩個(gè)其他結(jié)果：第一，Nvidia A100加速器首次與服務(wù)器級(jí)Arm CPU而不是x86 CPU配對(duì)。在所有六個(gè)基準(zhǔn)測(cè)試中，Arm和x86系統(tǒng)之間的結(jié)果幾乎相同。“這對(duì)Arm來(lái)說(shuō)是一個(gè)重要的里程碑，”Salvator表示，“這也是關(guān)于我們的軟件堆棧準(zhǔn)備就緒，能夠在數(shù)據(jù)中心環(huán)境中運(yùn)行Arm體系結(jié)構(gòu)的聲明。”
與正式的MLPerf基準(zhǔn)測(cè)試不同，Nvidia展示了一種稱(chēng)為多實(shí)例GPU（MiG）的新軟件技術(shù)，該技術(shù)允許單個(gè)GPU從軟件角度看就像它是七個(gè)獨(dú)立的芯片。當(dāng)該公司同時(shí)運(yùn)行所有六個(gè)基準(zhǔn)測(cè)試，再加上一個(gè)額外的對(duì)象檢測(cè)實(shí)例（假設(shè)是flex）時(shí)，結(jié)果是單個(gè)實(shí)例值的95%。
基于Nvidia A100的系統(tǒng)還清理了邊緣服務(wù)器類(lèi)別，該類(lèi)別的系統(tǒng)設(shè)計(jì)用于商店和辦公室等場(chǎng)所。這些計(jì)算機(jī)按照相同的六個(gè)基準(zhǔn)測(cè)試中的大部分進(jìn)行測(cè)試，但推薦系統(tǒng)被替換為低分辨率的目標(biāo)檢測(cè)。但在這個(gè)類(lèi)別中，有更廣泛的加速器可供選擇，包括Centaur的人工智能集成協(xié)處理器；高通公司的AI 100；Edgecortix的DNA-F200 v2，Nvidia的Jetson Xavier和FuriosaAI的Warboy。
Qualcomm topped the efficiency ranking for a machine vision test.QUALCOMM
使用CPU和加速器數(shù)量不同的系統(tǒng)，在兩種商業(yè)類(lèi)別的兩種條件下進(jìn)行六次測(cè)試，MLPerf性能結(jié)果實(shí)際上不適用于類(lèi)似Top500.org通過(guò)超級(jí)計(jì)算實(shí)現(xiàn)的簡(jiǎn)單有序列表。最接近的部分是效率測(cè)試，可以歸結(jié)為離線組件每瓦特每秒的推斷。高通公司系統(tǒng)在數(shù)據(jù)中心和邊緣類(lèi)別的對(duì)象識(shí)別、對(duì)象檢測(cè)和自然語(yǔ)言處理方面進(jìn)行了效率測(cè)試。在每瓦特每秒的推斷方面，他們?cè)跈C(jī)器視覺(jué)測(cè)試中擊敗了Nvidia支持的系統(tǒng)，但在語(yǔ)言處理方面沒(méi)有。Nvidia加速系統(tǒng)占據(jù)了所有其他位置。
近日推出了新的基準(zhǔn)，目標(biāo)是一個(gè)單一的數(shù)字，這似乎與MLPerf的多維性背道而馳。e Transaction Processing Performance委員會(huì)稱(chēng)TCPx AI基準(zhǔn)：
生成和處理大量數(shù)據(jù)
訓(xùn)練預(yù)處理數(shù)據(jù)以生成真實(shí)的機(jī)器學(xué)習(xí)模型
根據(jù)生成的模型對(duì)真實(shí)客戶場(chǎng)景進(jìn)行準(zhǔn)確洞察
可以擴(kuò)展到大型分布式配置
允許靈活更改配置，以滿足動(dòng)態(tài)AI環(huán)境的需求
TPCx人工智能委員會(huì)主席兼英特爾首席工程師Hamesh Patel解釋說(shuō)，該基準(zhǔn)旨在捕獲機(jī)器學(xué)習(xí)和人工智能的完整端到端過(guò)程。這包括MLPerf中未包含的流程部分，如準(zhǔn)備數(shù)據(jù)和優(yōu)化。“沒(méi)有一個(gè)基準(zhǔn)可以模擬整個(gè)數(shù)據(jù)科學(xué)管道，”他說(shuō)。客戶表示，準(zhǔn)備（數(shù)據(jù)）可能需要一周時(shí)間，訓(xùn)練“神經(jīng)網(wǎng)絡(luò)”可能需要兩天時(shí)間。
MLPerf和TPCx AI之間的巨大差異包括后者依賴(lài)于與真實(shí)數(shù)據(jù)相似但動(dòng)態(tài)生成的合成數(shù)據(jù)。MLPerf使用真實(shí)數(shù)據(jù)集進(jìn)行訓(xùn)練和推理，MLCommons執(zhí)行董事David Kanter對(duì)合成數(shù)據(jù)結(jié)果的價(jià)值表示懷疑。
MLCommons和TPC之間的成員資格有很多重疊，因此，如果兩個(gè)基準(zhǔn)中的任何一個(gè)在可信度上優(yōu)于另一個(gè)，則仍有待觀察。至少兩名MLPerf參與者報(bào)告說(shuō)，MLPerf目前無(wú)疑具有優(yōu)勢(shì)，計(jì)算機(jī)系統(tǒng)制造商已經(jīng)被要求提供MLPerf數(shù)據(jù)，作為提案請(qǐng)求的一部分。
