2020年9月25日，北京——在剛剛結(jié)束的2020云棲大會(huì)上，阿里云宣布對(duì)行業(yè)開(kāi)源業(yè)界首個(gè)深度學(xué)習(xí)開(kāi)放接口標(biāo)準(zhǔn)ODLA（Open Deep Learning API）。阿里云在今年5月份的OCP全球峰會(huì)上首次對(duì)外公布ODLA接口標(biāo)準(zhǔn)，并宣布已率先在Graphcore等生態(tài)伙伴上獲得支持。IPU是Graphcore為機(jī)器智能從零設(shè)計(jì)的AI處理器，通過(guò)ODLA接口，開(kāi)發(fā)者可以在IPU上快速跑通AI Matrix的各類(lèi)模型。
張偉豐博士在2020 OCP全球峰會(huì)上公布ODLA接口標(biāo)準(zhǔn)
ODLA是一個(gè)為加速深度學(xué)習(xí)的統(tǒng)一異構(gòu)硬件編程接口。ODLA規(guī)范了深度學(xué)習(xí)計(jì)算任務(wù)的定義和執(zhí)行，實(shí)現(xiàn)上層應(yīng)用和底層異構(gòu)硬件平臺(tái)的解耦，讓AI異構(gòu)計(jì)算更簡(jiǎn)單，實(shí)踐代碼“生成一次，隨時(shí)鏈接，隨處執(zhí)行”的愿景。
“令人興奮的新應(yīng)用程序意味著我們對(duì)數(shù)據(jù)中心的期望比以往任何時(shí)候都要更高。我們希望通過(guò)使用更廣泛的硬件選擇，以更大的規(guī)模，擴(kuò)大操作類(lèi)型范圍。ODLA使我們能夠管理這種復(fù)雜性，并挖掘出這些出色的新技術(shù)的全部潛力。”Graphcore高級(jí)副總裁兼中國(guó)區(qū)總經(jīng)理盧濤表示。
阿里云開(kāi)發(fā)ODLA是為了解決異構(gòu)計(jì)算中存在許久的一個(gè)核心挑戰(zhàn)。ODLA是輕量高效的異構(gòu)硬件統(tǒng)一接口標(biāo)準(zhǔn)，可在異構(gòu)計(jì)算環(huán)境中實(shí)現(xiàn)效率最大化。在異構(gòu)計(jì)算環(huán)境中，軟件框架需要從專(zhuān)業(yè)芯片中獲得最高性能，需要多種類(lèi)型處理器在一個(gè)通用平臺(tái)上協(xié)同工作，而每種處理器都需要針對(duì)其架構(gòu)和專(zhuān)業(yè)知識(shí)領(lǐng)域進(jìn)行某種程度的優(yōu)化，例如AI的稀疏性。API提供的抽象級(jí)別可以適應(yīng)芯片架構(gòu)之間的差異。
基于ODLA的異構(gòu)AI硬件對(duì)接方案
通過(guò)ODLA，在Graphcore IPU上技術(shù)適配和應(yīng)用部署的工作量可以實(shí)現(xiàn)大幅度降低，且實(shí)現(xiàn)效率大幅提升。另外，通過(guò)ODLA可以更好的與AI計(jì)算框架進(jìn)行軟硬協(xié)同，快速利用現(xiàn)有的編譯優(yōu)化技術(shù)，達(dá)到最佳性能。對(duì)于異構(gòu)任務(wù)，ODLA充當(dāng)該系統(tǒng)范圍通用語(yǔ)言與特定于架構(gòu)的優(yōu)化之間的接口或轉(zhuǎn)換器，該優(yōu)化可從Graphcore的IPU等設(shè)備實(shí)現(xiàn)最佳性能。
對(duì)于數(shù)據(jù)中心運(yùn)營(yíng)商而言，除了簡(jiǎn)化了新微處理器技術(shù)的集成之外，ODLA還帶來(lái)了其他一系列好處。它支持通用和高性能的數(shù)據(jù)中心設(shè)置，并為高級(jí)應(yīng)用程序提供統(tǒng)一的加速框架。對(duì)于應(yīng)用程序開(kāi)發(fā)人員來(lái)說(shuō)，它減少了對(duì)不同架構(gòu)進(jìn)行重復(fù)優(yōu)化的需求，并應(yīng)該可以減少開(kāi)發(fā)成本，縮短產(chǎn)品上市時(shí)間。
ODLA在2020云棲大會(huì)上宣布的主要特性及優(yōu)勢(shì)包含：
· 透明接口層，零損耗。
· 接口抽象和統(tǒng)一，軟硬件解耦：通過(guò)面向AI的多粒度算子抽象，定義統(tǒng)一的接口，解耦具體軟硬件，平滑遷移業(yè)務(wù)；實(shí)現(xiàn)代碼復(fù)用，提升開(kāi)發(fā)和部署效率。
· 多模態(tài)執(zhí)行方式：支持多種執(zhí)行模式，覆蓋解釋執(zhí)行、編譯執(zhí)行、載入預(yù)編譯代碼等場(chǎng)景，兼容各種硬件的運(yùn)行模式。
· AI全場(chǎng)景支持：支持推理和訓(xùn)練，適配云、邊、端全場(chǎng)景AI業(yè)務(wù)；擁有廣泛的算子定義和豐富的接口（設(shè)備管理、會(huì)話管理、執(zhí)行管理、事件同步/異步、資源查詢、性能監(jiān)控等）。
· 卓越的擴(kuò)展性，支持AI芯片廠家獨(dú)特屬性和自定義算子。
張偉豐博士在云棲大會(huì)上宣布開(kāi)源ODLA
Graphcore公司相信，IPU將成為下一代數(shù)據(jù)中心AI工作負(fù)載的核心。我們深知，我們的愿景需要ODLA在內(nèi)的諸多框架和工具，這些框架和工具能使我們的產(chǎn)品與其他同類(lèi)最佳技術(shù)協(xié)同工作。
Graphcore的聯(lián)合創(chuàng)始人兼首席執(zhí)行官Nigel Toon表示：“ODLA優(yōu)雅地滿足了Graphcore新用戶的兩個(gè)最大需求。一是他們希望輕松地將我們的技術(shù)集成到現(xiàn)有的數(shù)據(jù)中心，二是他們希望確保最終的設(shè)置在從各個(gè)組件到整個(gè)系統(tǒng)的每個(gè)層級(jí)都能得到高度優(yōu)化。”