從早期的神經(jīng)網(wǎng)絡(luò)研究到創(chuàng)造性解決語(yǔ)音識(shí)別任務(wù)，再到投身金融領(lǐng)域，機(jī)器學(xué)習(xí)大牛鄧力已經(jīng)在人工智能領(lǐng)域叱咤三十余年。他首次將深度神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用于語(yǔ)音識(shí)別領(lǐng)域，性能超越之前的方法。在語(yǔ)音識(shí)別技術(shù)日趨成熟之際，他果斷「轉(zhuǎn)行」投身金融，加盟對(duì)沖基金巨頭 Citadel。本文簡(jiǎn)單介紹了鄧力的 AI 之旅。11 月 10 日，鄧力將在 AI Frontiers 大會(huì)做主題演講，介紹如何使用 AI 前沿技術(shù)抓住機(jī)遇，解決挑戰(zhàn)。
鄧力的人工智能之旅已跨越 30 余年。在擔(dān)任過(guò)公司研究員、大學(xué)教授并在語(yǔ)音研究領(lǐng)域占有一席之地之后，鄧力一頭扎進(jìn)了金融界：2017 年 5 月，他辭去了微軟首席人工智能科學(xué)家的職位（盡管他曾在那領(lǐng)導(dǎo)微軟的人工智能學(xué)校并創(chuàng)立了深度學(xué)習(xí)技術(shù)中心），加入了管理 300 億美元的對(duì)沖基金 Citadel 并擔(dān)任首席人工智能官（Chief AI Officer）。同時(shí)辭去的還有任教超過(guò) 17 年的華盛頓大學(xué)附屬教授職位。
和鄧力一樣，AI 領(lǐng)域的其他知名教授也經(jīng)歷過(guò)職場(chǎng)變動(dòng)。卡內(nèi)基梅隆大學(xué)機(jī)器學(xué)習(xí)系主任 Manuela Veloso 今年 5 月加入摩根大通，領(lǐng)導(dǎo)該公司的人工智能研究實(shí)驗(yàn)室。《The Master Algorithm》作者、華盛頓大學(xué)計(jì)算機(jī)科學(xué)教授 Pedro Domingos 最近加入了對(duì)沖基金巨頭 DE Shaw，領(lǐng)導(dǎo)其新的機(jī)器學(xué)習(xí)研究小組。
自從資本市場(chǎng)有大量數(shù)據(jù)可用之后，金融領(lǐng)域的 AI 應(yīng)用程度就越來(lái)越高。金融領(lǐng)域需要復(fù)雜的機(jī)器學(xué)習(xí)方法來(lái)自動(dòng)處理數(shù)據(jù)和預(yù)測(cè)。鄧力表示，「我覺(jué)得現(xiàn)在金融領(lǐng)域已經(jīng)非常成熟了，可以讓人工智能來(lái)大顯神威。」
作為一名成就斐然的科學(xué)家，鄧力已經(jīng)發(fā)表了 300 多篇學(xué)術(shù)論文，并寫(xiě)了一些 AI 相關(guān)的書(shū)籍。他特別擅長(zhǎng)深度學(xué)習(xí)。鄧力認(rèn)為，深度學(xué)習(xí)將很快掌握預(yù)測(cè)價(jià)格走勢(shì)或做出明智交易決策的能力。
在神經(jīng)網(wǎng)絡(luò)領(lǐng)域的早期工作
20 世紀(jì) 80 年代中期，鄧力進(jìn)入威斯康星大學(xué)麥迪遜分校攻讀博士學(xué)位，主攻電氣工程方向。這段時(shí)期，鄧力試圖創(chuàng)建人類(lèi)聽(tīng)覺(jué)模擬和語(yǔ)音識(shí)別神經(jīng)模型，然而進(jìn)展并不順利，因?yàn)楫?dāng)時(shí)的計(jì)算機(jī)無(wú)法為大型神經(jīng)網(wǎng)絡(luò)提供足夠的計(jì)算能力，這也是導(dǎo)致鄧的神經(jīng)網(wǎng)絡(luò)研究停滯不前的原因之一。
然而，鄧力并沒(méi)有放棄。在以助理教授的身份加入加拿大滑鐵盧大學(xué)之后，他和他的一名學(xué)生于 1993 年提出了一種增強(qiáng)神經(jīng)網(wǎng)絡(luò)記憶的新模型。該模型雖然是一個(gè)完整的系統(tǒng)，但性能仍無(wú)法超越隱馬爾可夫模型。
他博士論文的外審是深度學(xué)習(xí)知名大牛 Geoffrey Hinton。在讀過(guò)論文后，Hinton 告訴鄧力，在這個(gè)階段，想要在神經(jīng)網(wǎng)絡(luò)方面有所突破太難了。這一令人失望的結(jié)果使得鄧力遠(yuǎn)離神經(jīng)網(wǎng)絡(luò)研究，在之后的許多年轉(zhuǎn)向貝葉斯統(tǒng)計(jì)方法和生成模型研究。
將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于語(yǔ)音識(shí)別
在深度學(xué)習(xí)興起之前，淺層的機(jī)器學(xué)習(xí)方法（如隱馬爾可夫模型和高絲混合模型）已經(jīng)主導(dǎo)了該領(lǐng)域?qū)⒔?30 年。
鄧力離開(kāi)滑鐵盧大學(xué)后，于 2000 年加入微軟，專(zhuān)注于使用貝葉斯方法進(jìn)行語(yǔ)音識(shí)別研究。但是結(jié)果不盡如人意，因?yàn)槎鄬迂惾~斯網(wǎng)絡(luò)的計(jì)算機(jī)復(fù)雜度呈指數(shù)級(jí)增長(zhǎng)。
2006 年，Hinton 發(fā)表了論文《A fast learning algorithm for deep belief nets》。論文表明，即使使用三個(gè)隱藏層，網(wǎng)絡(luò)仍然能夠?qū)κ謱?xiě)數(shù)字圖像及其標(biāo)簽的聯(lián)合分布生成表現(xiàn)良好的生成模型。鄧力對(duì)此很感興趣，他意識(shí)到或許可以嘗試將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于語(yǔ)音識(shí)別。
在 NIPS 2009 會(huì)議上，鄧力和 Hinton 聯(lián)合組織了「Deep Learning for Speech Recognition and Related Applications workshop」。他們首次證明，使用新方法訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)在大量語(yǔ)音識(shí)別基準(zhǔn)上優(yōu)于之前的方法。研究結(jié)果發(fā)表在論文《Deep Neural Networks for Acoustic Modeling in Speech Recognition》中，該論文由 Hinton 和鄧力合著，于 2012 年發(fā)表。
「深度學(xué)習(xí)可以實(shí)現(xiàn)語(yǔ)音信號(hào)的時(shí)間和空間表示，從而改變語(yǔ)音識(shí)別的原有機(jī)制，從這個(gè)層面上講機(jī)器學(xué)習(xí)是變革性的。」鄧力說(shuō)道。
接下來(lái)的時(shí)間里，鄧力及其團(tuán)隊(duì)將多種不同的深度學(xué)習(xí)方法應(yīng)用于語(yǔ)音，包括 LSTM 循環(huán)神經(jīng)網(wǎng)絡(luò)、深度卷積神經(jīng)網(wǎng)絡(luò)、序列學(xué)習(xí)和集成學(xué)習(xí)。這些創(chuàng)新極大提升了語(yǔ)音識(shí)別的準(zhǔn)確率，且被成功整合進(jìn)語(yǔ)音理解和語(yǔ)音翻譯中。
2015 年，憑借在深度學(xué)習(xí)與自動(dòng)語(yǔ)音識(shí)別方向做出的杰出貢獻(xiàn)，鄧力獲 IEEE 技術(shù)成就獎(jiǎng)。
金融領(lǐng)域新征程
近年來(lái)，語(yǔ)音識(shí)別技術(shù)已經(jīng)成熟。鄧力也準(zhǔn)備迎接新的挑戰(zhàn)。目前他領(lǐng)導(dǎo)對(duì)沖基金公司 Citadel 的人工智能團(tuán)隊(duì)，Citadel 是世界最大的另類(lèi)資產(chǎn)管理基金之一，管理超過(guò) 300 億美元的資產(chǎn)。
Citadel
從語(yǔ)音識(shí)別領(lǐng)域轉(zhuǎn)到金融領(lǐng)域并不容易。盡管這兩個(gè)領(lǐng)域有很多相似之處，比如市場(chǎng)數(shù)據(jù)和語(yǔ)音數(shù)據(jù)本質(zhì)上都是序列性的，但金融數(shù)據(jù)面臨一些重要挑戰(zhàn)：
盡管市場(chǎng)和資本數(shù)據(jù)體量呈指數(shù)級(jí)增長(zhǎng)，但有用信息的增長(zhǎng)并非如此。金融數(shù)據(jù)的信噪比更低，這意味著大部分信息只是噪聲。投資者必須區(qū)分信號(hào)和噪聲。
非平穩(wěn)性是另一項(xiàng)挑戰(zhàn)。金融市場(chǎng)中的很多參與者互相競(jìng)爭(zhēng)，因此需要清除大量偽數(shù)據(jù)。
金融數(shù)據(jù)的多樣性比語(yǔ)音數(shù)據(jù)的更復(fù)雜，數(shù)據(jù)類(lèi)型包括文本、圖像、語(yǔ)音、市場(chǎng)數(shù)據(jù)等。「要解決數(shù)據(jù)問(wèn)題，經(jīng)濟(jì)和金融知識(shí)和模型會(huì)有用武之地。」鄧力說(shuō)道。
今天，鄧力的研究重點(diǎn)在于利用機(jī)器翻譯系統(tǒng)解釋文本數(shù)據(jù)，以提升量化投資。如何將前沿 AI 研究應(yīng)用到當(dāng)前的機(jī)會(huì)和挑戰(zhàn)呢？我們期待鄧力的演講。
2018 年 11 月 10 日，鄧力將在于加州圣荷西舉辦的 AI Frontiers 大會(huì)上發(fā)表演講。AI Frontiers 大會(huì)匯集了 AI 領(lǐng)域的思想領(lǐng)導(dǎo)者，展示前沿研究和產(chǎn)品。除了鄧力以外，其他演講者還包括：Ilya Sutskever（OpenAI 創(chuàng)始人）、Jay Yagnik（Google AI 副總裁）、李開(kāi)復(fù)（創(chuàng)新工場(chǎng) CEO）、Mario Munich（iRobot 高級(jí)副總裁）、Quoc Le（谷歌大腦團(tuán)隊(duì)成員）、Pieter Abbeel（加州大學(xué)伯克利分校教授）等。
