搜索關(guān)鍵詞「AI、診斷」，微信上出現(xiàn)一大堆關(guān)于 AI 醫(yī)療的文章，從失明到肺病再到癌癥，AI 似乎無所不能。前不久，來自北卡羅來納大學(xué)埃謝爾曼藥學(xué)院的一個團隊創(chuàng)造了一種人工智能方法 ReLeaSE，能夠從零開始自學(xué)設(shè)計新型藥物分子。近日，該研究已被發(fā)表在 Science Advances 上。
生成具備期望屬性的新型化合物 SMILES 字符串的深度強化學(xué)習(xí)算法工作流程。(A) 生成 Stack-RNN 的訓(xùn)練步。(B) 生成 Stack-RNN 的生成器步驟。在訓(xùn)練過程中，輸入 token 是一個當(dāng)前處理的簡化分子線性輸入系統(tǒng)（SMILES）字符串（來自訓(xùn)練集）中的一個字符。該模型根據(jù)前綴（prefix）輸出下一個字符的概率向量 pΘ(a_t|s_t ? 1)。參數(shù) Θ 的向量通過交叉熵?fù)p失函數(shù)最小化進行優(yōu)化。在生成器步驟中，輸入 token 是前一步生成的字符。然后從分布 pΘ(a_t| s_t ? 1) 中隨機采樣字符 a_t。(C) 生成新型化合物的強化學(xué)習(xí)系統(tǒng)的一般流程。(D) 預(yù)測模型機制。該模型將 SMILES 字符串作為輸入，然后提供一個實數(shù)（即估計屬性值）作為輸出。該模型的參數(shù)使用 l2 平方損失函數(shù)最小化進行訓(xùn)練。Credit: Science Advances (2018). DOI: 10.1126/sciadv.aap7885
北卡羅來納大學(xué)埃謝爾曼藥學(xué)院（UNC Eshelman School of Pharmacy）創(chuàng)造的人工智能方法能夠從零開始自學(xué)設(shè)計新型藥物分子，這有望大幅加快新型藥物的研發(fā)速度。
該系統(tǒng)名為「結(jié)構(gòu)進化強化學(xué)習(xí)」（Reinforcement Learning for Structural Evolution），又稱 ReLeaSE。ReLeaSE 既是一種算法，也是一種計算機程序，它將兩種神經(jīng)網(wǎng)絡(luò)合二為一，二者可被分別視為老師和學(xué)生。老師了解大約 170 萬種已知生物活性分子化學(xué)結(jié)構(gòu)詞匯背后的句法和語言規(guī)則。通過與老師合作，學(xué)生逐漸學(xué)習(xí)并提高自己的能力，創(chuàng)造有望作為新藥使用的分子。
ReLeaSE 的創(chuàng)造者 Alexander Tropsha、Olexandr Isayev 和 Mariya Popova 均來自 UNC 埃謝爾曼藥學(xué)院。UNC 已經(jīng)為該技術(shù)申請了專利，該團隊上周在 Science Advances 上發(fā)表了一份概念驗證性研究。
「這一過程可以借鑒語言學(xué)習(xí)過程來描述：學(xué)生掌握分子字母表及語言規(guī)則之后，他們就能自己創(chuàng)造新『詞』（也就是新分子）。」Tropsha 說，「如果新分子實用且達(dá)到預(yù)期效果，老師就會批準(zhǔn)。反之，老師就會否決，強制學(xué)生避開糟糕的分子并去創(chuàng)造有用的分子。」
ReLeaSE 是一種強大的藥物虛擬篩選工具，這種計算方法已經(jīng)被制藥業(yè)廣泛用于確定可用的候選藥物。虛擬篩選讓科學(xué)家可以評估現(xiàn)有的大型化學(xué)庫，但該方法只對已知的化學(xué)物質(zhì)有效。而 ReLeaSE 具備獨特的能力，可以創(chuàng)建和評估新型分子。
「使用虛擬篩選的科學(xué)家就像餐館中點菜的顧客那樣，能點的菜通常僅限于菜單上有的?！笽sayev 說道，「我們想為科學(xué)家提供一個『雜貨店』和『個人廚師』，做出任何他們想要的菜式?！?/p>
該團隊利用 ReLeaSE 生成具有他們指定特性（如生物活性和安全性）的分子，還可以使用該方法設(shè)計具有定制物理特性（如熔點、水溶性）的分子，以及設(shè)計對白血病相關(guān)酶具有抑制活性的新型化合物。
Tropsha 稱：「對于一個需要不斷尋找新方法來縮短新藥進入臨床試驗所需時間的行業(yè)來說，該算法極具吸引力，因為它能設(shè)計出具有特定生物活性和最佳安全性的新化學(xué)實體?！?/p>
論文：Deep reinforcement learning for de novo drug design
論文鏈接：http://advances.sciencemag.org/content/4/7/eaap7885/tab-pdf
摘要：我們設(shè)計并實現(xiàn)了一種新的計算策略，用于從零開始設(shè)計具有期望屬性的分子，稱為ReLeaSE（Reinforcement Learning for Structural Evolution，結(jié)構(gòu)進化強化學(xué)習(xí)）。基于深度學(xué)習(xí)和強化學(xué)習(xí)方法，ReLeaSE集成了兩個深度神經(jīng)網(wǎng)絡(luò)——生成和預(yù)測神經(jīng)網(wǎng)絡(luò)，這兩個神經(jīng)網(wǎng)絡(luò)被單獨訓(xùn)練，但都用于生成新的目標(biāo)化學(xué)庫。ReLeaSE僅使用簡化分子線性輸入系統(tǒng)（SMILES）字符串來表示分子。生成模型通過堆棧增強的記憶網(wǎng)絡(luò)來訓(xùn)練，以產(chǎn)生化學(xué)上可行的SMILES字符串，預(yù)測模型則用來預(yù)測新生成化合物的期望屬性。在該方法的第一階段，使用監(jiān)督學(xué)習(xí)算法分別訓(xùn)練生成模型和預(yù)測模型。在第二階段，兩種模型使用RL方法一起訓(xùn)練，以偏向于產(chǎn)生具有所需物理和/或生物特性的新化學(xué)結(jié)構(gòu)。在該概念驗證研究中，我們使用ReLeaSE方法設(shè)計化學(xué)庫，該化學(xué)庫偏向于結(jié)構(gòu)復(fù)雜性，偏向于具有最大、最小或特定物理屬性范圍的化合物，如熔點或疏水性，或者偏向于對Janus蛋白激酶2具有抑制活性的化合物。本文提出的方法可用于找到產(chǎn)生對單一或多個期望屬性進行優(yōu)化了的新化合物的目標(biāo)化學(xué)庫。