搜索關鍵詞「AI、診斷」，微信上出現一大堆關于 AI 醫療的文章，從失明到肺病再到癌癥，AI 似乎無所不能。前不久，來自北卡羅來納大學埃謝爾曼藥學院的一個團隊創造了一種人工智能方法 ReLeaSE，能夠從零開始自學設計新型藥物分子。近日，該研究已被發表在 Science Advances 上。
生成具備期望屬性的新型化合物 SMILES 字符串的深度強化學習算法工作流程。(A) 生成 Stack-RNN 的訓練步。(B) 生成 Stack-RNN 的生成器步驟。在訓練過程中，輸入 token 是一個當前處理的簡化分子線性輸入系統（SMILES）字符串（來自訓練集）中的一個字符。該模型根據前綴（prefix）輸出下一個字符的概率向量 pΘ(a_t|s_t ? 1)。參數 Θ 的向量通過交叉熵損失函數最小化進行優化。在生成器步驟中，輸入 token 是前一步生成的字符。然后從分布 pΘ(a_t| s_t ? 1) 中隨機采樣字符 a_t。(C) 生成新型化合物的強化學習系統的一般流程。(D) 預測模型機制。該模型將 SMILES 字符串作為輸入，然后提供一個實數（即估計屬性值）作為輸出。該模型的參數使用 l2 平方損失函數最小化進行訓練。Credit: Science Advances (2018). DOI: 10.1126/sciadv.aap7885
北卡羅來納大學埃謝爾曼藥學院（UNC Eshelman School of Pharmacy）創造的人工智能方法能夠從零開始自學設計新型藥物分子，這有望大幅加快新型藥物的研發速度。
該系統名為「結構進化強化學習」（Reinforcement Learning for Structural Evolution），又稱 ReLeaSE。ReLeaSE 既是一種算法，也是一種計算機程序，它將兩種神經網絡合二為一，二者可被分別視為老師和學生。老師了解大約 170 萬種已知生物活性分子化學結構詞匯背后的句法和語言規則。通過與老師合作，學生逐漸學習并提高自己的能力，創造有望作為新藥使用的分子。
ReLeaSE 的創造者 Alexander Tropsha、Olexandr Isayev 和 Mariya Popova 均來自 UNC 埃謝爾曼藥學院。UNC 已經為該技術申請了專利，該團隊上周在 Science Advances 上發表了一份概念驗證性研究。
「這一過程可以借鑒語言學習過程來描述：學生掌握分子字母表及語言規則之后，他們就能自己創造新『詞』（也就是新分子）。」Tropsha 說，「如果新分子實用且達到預期效果，老師就會批準。反之，老師就會否決，強制學生避開糟糕的分子并去創造有用的分子。」
ReLeaSE 是一種強大的藥物虛擬篩選工具，這種計算方法已經被制藥業廣泛用于確定可用的候選藥物。虛擬篩選讓科學家可以評估現有的大型化學庫，但該方法只對已知的化學物質有效。而 ReLeaSE 具備獨特的能力，可以創建和評估新型分子。
「使用虛擬篩選的科學家就像餐館中點菜的顧客那樣，能點的菜通常僅限于菜單上有的。」Isayev 說道，「我們想為科學家提供一個『雜貨店』和『個人廚師』，做出任何他們想要的菜式。」
該團隊利用 ReLeaSE 生成具有他們指定特性（如生物活性和安全性）的分子，還可以使用該方法設計具有定制物理特性（如熔點、水溶性）的分子，以及設計對白血病相關酶具有抑制活性的新型化合物。
Tropsha 稱：「對于一個需要不斷尋找新方法來縮短新藥進入臨床試驗所需時間的行業來說，該算法極具吸引力，因為它能設計出具有特定生物活性和最佳安全性的新化學實體。」
論文：Deep reinforcement learning for de novo drug design
論文鏈接：http://advances.sciencemag.org/content/4/7/eaap7885/tab-pdf
摘要：我們設計并實現了一種新的計算策略，用于從零開始設計具有期望屬性的分子，稱為ReLeaSE（Reinforcement Learning for Structural Evolution，結構進化強化學習）。基于深度學習和強化學習方法，ReLeaSE集成了兩個深度神經網絡——生成和預測神經網絡，這兩個神經網絡被單獨訓練，但都用于生成新的目標化學庫。ReLeaSE僅使用簡化分子線性輸入系統（SMILES）字符串來表示分子。生成模型通過堆棧增強的記憶網絡來訓練，以產生化學上可行的SMILES字符串，預測模型則用來預測新生成化合物的期望屬性。在該方法的第一階段，使用監督學習算法分別訓練生成模型和預測模型。在第二階段，兩種模型使用RL方法一起訓練，以偏向于產生具有所需物理和/或生物特性的新化學結構。在該概念驗證研究中，我們使用ReLeaSE方法設計化學庫，該化學庫偏向于結構復雜性，偏向于具有最大、最小或特定物理屬性范圍的化合物，如熔點或疏水性，或者偏向于對Janus蛋白激酶2具有抑制活性的化合物。本文提出的方法可用于找到產生對單一或多個期望屬性進行優化了的新化合物的目標化學庫。