《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 嵌入式技術(shù) > 業(yè)界動態(tài) > 周志華揭牌英特爾-南大聯(lián)合研究中心:探索DNN與GPU之外的「廣義深度學(xué)習(xí)」

周志華揭牌英特爾-南大聯(lián)合研究中心:探索DNN與GPU之外的「廣義深度學(xué)習(xí)」

2018-09-15

英特爾與南京大學(xué)聯(lián)合成立了一個「人工智能聯(lián)合研究中心」。9 月 12 日,英特爾中國研究院院長宋繼強與南京大學(xué)人工智能學(xué)院院長周志華在南京為這個名為「英特爾-南京大學(xué)人工智能 IPCC 中心」的機構(gòu)揭了牌。

微信圖片_20180915210218.jpg


「我想通過和英特爾的合作,不僅會進一步推動我們在人工智能、機器學(xué)習(xí)算法方面的研究,同時也會進一步擴大這些研究對芯片硬件架構(gòu)方面進一步發(fā)展的影響」,周志華表示,「此外,因為英特爾已經(jīng)給各行各業(yè)的用戶提供了技術(shù)支持和服務(wù),通過這次合作,也有可能進一步把我們的研究成果進一步推向產(chǎn)業(yè)化應(yīng)用,提供更好的發(fā)展空間。」


周志華與宋繼強曾經(jīng)是南京大學(xué)計算機科學(xué)與技術(shù)系的九年同窗,如今這兩位昔日校友又分別以學(xué)界和業(yè)界的身份走到一起,一位帶來了對深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的可替代方法的深入思考——「深度森林」,另一位帶來了以英特爾至強系列處理器為代表的「一片多核」硬件架構(gòu),目標(biāo)是給更大、更需要可解釋性的任務(wù)提供不被數(shù)據(jù)規(guī)模局限的、更易訓(xùn)練也更容易分析的算法解決方案。


深度神經(jīng)網(wǎng)絡(luò)之外的深度學(xué)習(xí)


「很多外界的人有兩個有失偏頗的觀點。第一,會傾向于認(rèn)為人工智能這一波進步完全是深度學(xué)習(xí)帶起來的,但是其實深度學(xué)習(xí)只是背后的一部分,比如 AlphaGo 背后更重要的是強化學(xué)習(xí)。第二,會傾向于認(rèn)為深度學(xué)習(xí)就是深度神經(jīng)網(wǎng)絡(luò)。我們的探索就是試圖告訴大家:深度學(xué)習(xí)不光是深度神經(jīng)網(wǎng)絡(luò),還有很多別的東西。」在揭牌儀式之后的采訪上,周志華對于深度森林工作的意義這樣解釋道。同時他也講述了自己對于深度學(xué)習(xí)的發(fā)展趨勢的判斷:「在未來,完全基于深度神經(jīng)網(wǎng)絡(luò)的『狹義深度學(xué)習(xí)』的空間可能逐漸地變小,因為它有用的范圍我們逐漸都知道了。但是廣義的深度學(xué)習(xí)可能會長期存在下去,甚至變成以后的機器學(xué)習(xí)系統(tǒng)的一個基本配置。」

微信圖片_20180915210258.jpg


什么是「廣義深度學(xué)習(xí)」?周志華將其定義為「由更深更大的由子模型組成的解決復(fù)雜問題的模型」,這里的子模型可能是神經(jīng)網(wǎng)絡(luò),可能是隨機森林,也可能是其他的結(jié)構(gòu)。


深度森林算法提出在去年年初,gcForest 也于去年六月開源。「『沒有免費午餐』定理嚴(yán)格證明了沒有一種模型適用于全部的數(shù)據(jù)類型。深度神經(jīng)網(wǎng)絡(luò)在圖像、語音數(shù)據(jù)上特別有效,而我們的前期研究發(fā)現(xiàn),森林結(jié)構(gòu)在符號數(shù)據(jù)、離散數(shù)據(jù)混合建模上可能有特長。」正如 IJCAI 論文結(jié)尾所言,團隊認(rèn)為這項新方法能夠為使用深度學(xué)習(xí)方法解決更多任務(wù)打開一扇深度神經(jīng)網(wǎng)絡(luò)之外的大門。


在過去一年多的時間里,周志華團隊也一直在從不同角度「敲門」。在會后的采訪中,周志華分享了一些團隊進行過的嘗試的方向:一方面探索深度森林的能力邊界,比如探索深度森林是否具有傳統(tǒng)認(rèn)為只有神經(jīng)網(wǎng)絡(luò)才具有的的自編碼能力;一方面研究如何調(diào)動更多計算資源,更好利用其自身的高并行性的特點,做任務(wù)級的并行;最后在應(yīng)用層面,他的團隊也和螞蟻金服等合作,檢驗深度森林算法在一個真實場景下的真實任務(wù)(從有大量離散特征的網(wǎng)上金融交易數(shù)據(jù)中進行非法套現(xiàn)檢測)里效果如何。如今三方面都有不錯的進展。


CPU 與其他硬件的深度學(xué)習(xí)加速之路


在應(yīng)用層面上,沒有一套硬件解決方案能夠適用于所有的場景已經(jīng)是一個共識了。宋繼強介紹了英特爾中國研究院的主要方向:面向未來無處不在的具備完整的外界感知、理解決策、以及行為能力的自主前端設(shè)備。這些設(shè)備對算力的需求可以說是五花八門。英特爾如今最新的至強處理器通過加強了單精度和可變精度浮點數(shù)的計算能力來對深度學(xué)習(xí)應(yīng)用做了適應(yīng)性的調(diào)整,但是可以進行的嘗試還有更多。


「同樣的人工智能算法在 100 個行業(yè)就有 100 種甚至更多的不同使用方式,每一種使用方式都可能有最好的軟硬件搭配的方法。在前端、云端、邊緣的計算對于計算資源的功耗、尺寸、實時性的要求都不一樣。英特爾給出的答案是『混搭』,用多個芯片內(nèi)核通過高級的集成封裝技術(shù)進行 2D 和 3D 層面高速互聯(lián),實現(xiàn)異構(gòu)計算。」宋繼強介紹道。

微信圖片_20180915210326.jpg


應(yīng)用層面不能在硬件上以「一」待勞,學(xué)術(shù)研究方向也是如此。


「深度森林和現(xiàn)在的深度神經(jīng)網(wǎng)絡(luò)不一樣的一個地方在于,它不適合用 GPU 加速。」周志華坦言。


在「更大的模型會帶來更好效果」的廣義深度學(xué)習(xí)基本假設(shè)之下,想要將深度森林做得更大,就要進行一些不一樣的嘗試。


「一種是我們和在工業(yè)界的合作伙伴一起做分布式的計算系統(tǒng),而另一種就是能否用其他硬件提高其可擴展性。經(jīng)過大量的前期調(diào)研,我們認(rèn)為英特爾的一片多核的結(jié)構(gòu)極有可能對加速這樣的模型有特別的幫助。」


在軟件優(yōu)化之外,如果能夠在算法研究的前期直接從指令集層面乃至芯片布局層面進行思考與優(yōu)化,對于模型效果會有怎樣的幫助?能不能同時思考軟硬件問題以實現(xiàn)最佳性能與效率?這是世界上的各個研究機構(gòu)都在思考的問題,周志華團隊也不例外。


「深度森林主要基于樹架構(gòu),每一個模型可以視為由多棵樹組成。第一,能不能進行任務(wù)級的并行,能不能同時做多棵樹?第二,樹結(jié)構(gòu)很難在 GPU 上運行,因為它中間涉及到很多分支選擇,這讓它與一個片上多個 CPU 的結(jié)構(gòu)非常契合。」


團隊已經(jīng)進行了一些實驗,「我們利用一塊英特爾至強融核的芯片(KNL),對一個特殊版本的深度森林做出了 64 倍的加速。」


同時,他們也有很多更遠(yuǎn)大的構(gòu)想,比如投入到大規(guī)模任務(wù)中,利用硬件加速提供更好的性能和效率:「受限于現(xiàn)在的計算架構(gòu),一個特別大的任務(wù)進來,內(nèi)存馬上耗光了,計算也算不下去了。但是實際從計算開銷來說,一個森林的開銷比一個神經(jīng)網(wǎng)絡(luò)要小。神經(jīng)網(wǎng)絡(luò)能通過 GPU 加速獲得性能的大幅提升,那深度森林能不能利用合適的芯片架構(gòu),獲得類似的幫助?」


即使現(xiàn)有的芯片架構(gòu)都不能完美地解決這一問題,研究者也十分樂于為硬件開發(fā)者提供一些下一步設(shè)計上的啟發(fā)。


計算機人才的硬件能力與硬件研發(fā)的人才需求


在周志華看來,與英特爾的合作是讓南大計算機學(xué)科「更進一步」方式。「原來南京大學(xué)的機器學(xué)習(xí)與人工智能的團隊主要在理論和算法方面做一些工作,在應(yīng)用技術(shù)方面的研究主要也集中在軟件方面。南京大學(xué)作為一所綜合性大學(xué),『硬件』一直是我們的計算機科學(xué)所欠缺的一條腿。這一步光靠我們自己很難再邁進,我們希望能通過和英特爾的合作,在軟硬件結(jié)合方面往前走一步。」


LAMDA 實驗室的一些研究生已經(jīng)從培養(yǎng)前期就介入了與英特爾的合作,「他們在進行工作的過程中獲得了很多英特爾資深工程師的指點,現(xiàn)在他們的底層硬件的理解和操作能力,要遠(yuǎn)遠(yuǎn)超過一般課程培養(yǎng)出來的學(xué)生。」


而能夠「往前一步」的,除了以博士生為主的研究人員,當(dāng)然也包含本科生。成立于今年 3 月的南京大學(xué)人工智能學(xué)院剛剛迎來了第一批入學(xué)的本科生,之前公開的一年級課表里,引人注目的是數(shù)學(xué)課:既包含了原先只有數(shù)學(xué)系學(xué)生需要學(xué)的《數(shù)學(xué)分析》和《高等代數(shù)》,也包含了原先只有計算機系學(xué)生需要學(xué)的《離散數(shù)學(xué)》。而本次周志華還透露,之后的專業(yè)課里還有一門是關(guān)于「智能芯片」。


「我們希望能夠培養(yǎng)出人工智能領(lǐng)域高水平的人才,其中一條就是希望他們能夠兼?zhèn)淙斯ぶ悄苄枰能浻布芰ΑN覀冊诳紤]引進一些與芯片、硬件設(shè)計相關(guān)的課程,其中有一門課就是關(guān)于智能芯片的,而英特爾的合作為我們這方面的人才培養(yǎng)提供了一個非常好的支持。」


這是南京大學(xué)的角度。而從英特爾的角度,硬件的設(shè)計需要考慮「未來的算法」,因此除了從學(xué)界獲得前沿的算法動向,培養(yǎng)了解硬件、能夠同時思考軟硬件問題的研究者也同樣重要。


宋繼強說「硬件的設(shè)計周期是很長的,我需要預(yù)先知道哪些運算模塊在未來會非常重要,通過聯(lián)合實驗室的方式,我們挑選能夠『看到未來』的領(lǐng)域開拓者,讓學(xué)界在英特爾的硬件上進行重要的工作負(fù)載嘗試,從他們的方向上去尋找未來的方向,為我們的硬件架構(gòu)設(shè)計提供很好的指導(dǎo)。」


英特爾與南大的人工智能聯(lián)合研究中心的合作框架以三年為期,屆時南大人工智能學(xué)院的全學(xué)年學(xué)生均已入學(xué),而英特爾對于如何調(diào)整芯片設(shè)計思路以使其更適應(yīng)廣義深度學(xué)習(xí)時代的思路,也會更明朗地體現(xiàn)在通用 CPU、專用于神經(jīng)網(wǎng)絡(luò)加速的 NNP、 為終端深度學(xué)習(xí)模型提供專門算力的 VPU 等等芯片中。屆時深度森林以及其他「廣義深度學(xué)習(xí)」方法的能力范圍,會隨著算力的升級有怎樣的提升呢?我們對此拭目以待。


本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 亚洲欧美色图小说| 国产喷水在线观看| 一级做α爱**毛片| 最近中文字幕在线中文视频| 免费永久看黄在线观看app| 国产成人精品啪免费视频| 天天视频官网天天视频在线| 久久久精品人妻无码专区不卡| 欧美日韩高清在线| 六月丁香综合网| 青娱乐在线免费视频| 国产精品无码久久综合| youjizzcom最新中国| 日本一品道门免费高清视频| 亚洲国产精品sss在线观看AV| 精品久久久久久中文字幕一区| 国产免费131美女视频| 深爱五月激情网| 天天在线天天综合网色| 中文字幕丰满乱子伦无码专区 | 国产乱码精品一区二区三区四川人| 亚洲日本人成中文字幕| 美国式禁忌矿桥| 国产成人亚洲午夜电影| 91精品啪在线观看国产线免费| 小东西怎么流这么多水怎么办| 久久乐国产精品亚洲综合| 欧美人交性视频在线香蕉| 亚洲视频在线免费播放| 精品欧美一区二区3d动漫| 国产免费卡一卡三卡乱码| 亚洲综合第一区| 国内精品一区二区三区在线观看 | a级黄色片视频| 成人五级毛片免费播放| 久久午夜宫电影网| 欧日韩不卡在线视频| 亚洲欧美日韩高清一区二区三区| 看全色黄大色黄大片大学生| 嗯啊h客厅hh青梅h涨奶| 资源在线www天堂|