7月24日，智東西公開課推出的超級(jí)公開課NVIDIA專場進(jìn)行完第十二講，由NVIDIA深度學(xué)習(xí)解決方案架構(gòu)師羅晟主講，主題為《醫(yī)療領(lǐng)域的深度學(xué)習(xí)》。羅晟老師系統(tǒng)講解了深度學(xué)習(xí)在醫(yī)療影像、基因分析、藥物研發(fā)及疾病診斷等醫(yī)療領(lǐng)域的應(yīng)用及其背后所使用的深度學(xué)習(xí)技術(shù)特點(diǎn)。

　　以下是羅晟老師的主講實(shí)錄和提綱，共計(jì)13549字，預(yù)計(jì)14分鐘讀完。

　　大綱：

　　1.深度學(xué)習(xí)在醫(yī)療領(lǐng)域發(fā)展現(xiàn)狀及常見應(yīng)用場景

　　2.深度學(xué)習(xí)加速藥物研發(fā)

　　3.深度學(xué)習(xí)加速基因研究

　　4.深度學(xué)習(xí)加速疾病診斷

　　5.醫(yī)療領(lǐng)域英偉達(dá)解決方案平臺(tái)

　　主講實(shí)錄

　　羅晟：大家好，我叫羅晟，來自NVIDIA的深度學(xué)習(xí)解決方案架構(gòu)師。今天很高興能夠在這里和大家分享醫(yī)療領(lǐng)域的深度學(xué)習(xí)應(yīng)用，以及NVIDIA為醫(yī)療領(lǐng)域提供的解決方案平臺(tái)，希望今天的分享能給大家?guī)韼椭?，也希望本次分享可以起到拋磚引玉的作用，讓各位能夠?yàn)檎麄€(gè)行業(yè)帶來新的創(chuàng)意，幫助大家用AI和GPU加速醫(yī)療行業(yè)的應(yīng)用，為醫(yī)療領(lǐng)域提供新的方案。

　　在正式開講之前，我想先給大家分享一個(gè)關(guān)于醫(yī)療領(lǐng)域創(chuàng)業(yè)的故事，為什么要用深度學(xué)習(xí)做醫(yī)療呢？大家知道現(xiàn)在深度學(xué)習(xí)很火，但是并不是火什么，我們就應(yīng)該做什么，我們用深度學(xué)習(xí)來做醫(yī)療，肯定有其背景原因，有它帶來的好處。在美國，有這樣一個(gè)深度學(xué)習(xí)應(yīng)用的案例，就是一個(gè)工程師，帶著自己的父親去看病，醫(yī)生診斷出他父親是癌癥的第四期，也就是尾期，醫(yī)生直接讓他父親進(jìn)行化療，之后大概經(jīng)歷了一到兩個(gè)禮拜的化療期，化療之后，他父親也掉了很多頭發(fā)，人也覺得很辛苦。后來，他正好有一個(gè)朋友是醫(yī)生，然后這個(gè)醫(yī)生就為他爸爸做了第二次診斷，才發(fā)現(xiàn)上一個(gè)醫(yī)生的診斷是錯(cuò)誤的，其實(shí)他父親只是在癌癥的第一期。而癌癥第一期不需要化療，只通過藥物就可以控制住。這位AI工程師就下定決心，要用AI技術(shù)來改善醫(yī)療領(lǐng)域，去解決由于醫(yī)生的一些失誤導(dǎo)致的醫(yī)療問題，這也是為什么我們要用AI做醫(yī)療的原因。

　　對(duì)NVIDIA不熟悉的朋友，可能對(duì)NVIDIA的印象還停留在GPU的計(jì)算卡和游戲卡上，但其實(shí)從2007年NVIDIA提出CUDA用于作為GPU計(jì)算的編程語言開始，我們已經(jīng)在醫(yī)療行業(yè)耕耘了十年?？梢詰?yīng)用的領(lǐng)域除了計(jì)算之外，還有可視化，而現(xiàn)在，我們還可以用來做深度學(xué)習(xí)。有寶寶的小伙伴應(yīng)該知道，做嬰兒三維超聲波檢查的時(shí)候，看到嬰兒的那些圖像，其實(shí)從2009年西門子的超聲波機(jī)器已經(jīng)用NVIDIA的GPU來做渲染方面的工作。

　　不僅如此，GE的CT掃描儀，也用到了GPU的技術(shù)，實(shí)現(xiàn)實(shí)時(shí)重建，直接把傳感器的數(shù)據(jù)映射到圖像上，這樣帶來的好處就是我們能直接去看到相關(guān)的圖像，不僅如此，還能夠?qū)D像進(jìn)行優(yōu)化，我們可以使用更低劑量的x射線來實(shí)現(xiàn)相同質(zhì)量的圖像，從而減少診斷對(duì)健康帶來的損害。

　　2012年，由于AlexNet的出現(xiàn)，深度學(xué)習(xí)證明了其在計(jì)算機(jī)視覺方面具有非常好的性能，也就是從這個(gè)時(shí)候開始醫(yī)療行業(yè)的各個(gè)領(lǐng)域也逐漸開始利用深度學(xué)習(xí)，也擴(kuò)展了GPU的應(yīng)用領(lǐng)域，比如在2013年，GPU驅(qū)動(dòng)的深度學(xué)習(xí)的方法，在病理切片上檢測(cè)并統(tǒng)計(jì)有絲分裂數(shù)，擊敗了其他所有的技術(shù)，這個(gè)統(tǒng)計(jì)數(shù)據(jù)是癌癥的早期指標(biāo)，換句話說，用GPU之后我們能夠獲得更好的準(zhǔn)確性，同時(shí)也能降低漏診的風(fēng)險(xiǎn)。

　　隨著技術(shù)的發(fā)展，DL在醫(yī)學(xué)影像領(lǐng)域獲得過很多的成功，其實(shí)我們現(xiàn)在聽到的大多數(shù)關(guān)于深度學(xué)習(xí)的應(yīng)用都是在醫(yī)療領(lǐng)域。比如2014年，我們做的大腦腫瘤分析，2016年肺癌檢測(cè)，這些都是在醫(yī)療領(lǐng)域的應(yīng)用。而這些深度學(xué)習(xí)應(yīng)用不僅是在商業(yè)應(yīng)用、搜索里面取得的成功，而且在一些數(shù)據(jù)科學(xué)競賽方面也取得了很好的成績，并且兩次打敗其他隊(duì)伍，成功完成了任務(wù)。

　　這兩次成功，一次是基于心臟MI成像自動(dòng)注射量的計(jì)算，可以用來衡量心臟的運(yùn)行狀態(tài)。另一次是關(guān)于CT掃描中肺癌的早期檢測(cè)。這些都是DL在醫(yī)學(xué)影像領(lǐng)域取得的成功。不僅如此，最讓我興奮的是在去年NVIDIA首次參加北美放射學(xué)會(huì)，吸引了大概五萬名的與會(huì)者，大部分都是放射科醫(yī)師，其中有四十八個(gè)初創(chuàng)公司都在用深度學(xué)習(xí)或者機(jī)器學(xué)習(xí)進(jìn)行醫(yī)學(xué)成像。而且其中百分之九十的公司都在使用GPU。在本次會(huì)議上，DL相關(guān)文章的數(shù)量，相比往年增加了十倍，NVIDIA在會(huì)議期間進(jìn)行了為期5天的DLI（NVIDIA深度學(xué)習(xí)學(xué)院）培訓(xùn)，平均每天培訓(xùn)200人。

　　2018年NVIDIA發(fā)起了Project Clara，它的名稱來源于紅十字會(huì)的創(chuàng)立人，他的名字就是Clara 。我們希望通過Clara項(xiàng)目 ，幫助醫(yī)療行業(yè)利用NVIDIA GPU技術(shù)，改善人們的生活。

　　大家知道，2012年AlexNet網(wǎng)絡(luò)出來之后，首先在ImageNet上取得了非常好的結(jié)果，戰(zhàn)勝了傳統(tǒng)記憶學(xué)習(xí)的方法，當(dāng)時(shí)AlexNet性能有10%的提升。而在往年，每年都是1%的性能提升。這樣飛躍的性能提升確實(shí)能夠豐富我們的應(yīng)用種類，比如人臉識(shí)別，自然語言處理。同時(shí)對(duì)于一些商業(yè)應(yīng)用來說，能夠獲得更精準(zhǔn)的推薦，比如大家平時(shí)使用的今日頭條新聞推薦，系統(tǒng)會(huì)根據(jù)你自身的的喜好為你推薦相應(yīng)的內(nèi)容，這就是基于深度學(xué)習(xí)來做的。對(duì)于深度學(xué)習(xí)來說，這樣的精確意味著什么呢？

　　對(duì)于其他的行業(yè)來說，準(zhǔn)確度確實(shí)很重要，但也不是很關(guān)鍵，因?yàn)橥扑]錯(cuò)了，并不會(huì)對(duì)生命造成影響，但在醫(yī)療行業(yè)則不然，用更好的方法不僅僅只是提高準(zhǔn)確度。比如在藥物發(fā)現(xiàn)領(lǐng)域，可以縮短藥物的整個(gè)研發(fā)周期，在醫(yī)療診斷領(lǐng)域，可以在最早期進(jìn)行醫(yī)療診斷，減少病人的痛苦。而此時(shí)能夠提高的準(zhǔn)確度，不只是數(shù)字上的十個(gè)百分點(diǎn)，在醫(yī)療領(lǐng)域，可能會(huì)為每一個(gè)人帶來更好的生活，為整個(gè)社會(huì)帶來更好的未來。

　　整個(gè)深度學(xué)習(xí)的流程，就如右邊這張圖所示，通過訓(xùn)練數(shù)據(jù)和深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練生成一個(gè)深度學(xué)習(xí)的模型，之后對(duì)模型進(jìn)行評(píng)估，再用一些新的數(shù)據(jù)來確認(rèn)，驗(yàn)證以及測(cè)試，從而得知模型是否準(zhǔn)確，而且通過這樣一個(gè)模型，可以解決醫(yī)療領(lǐng)域的很多問題，至于怎么解決、未來怎么做，我會(huì)在后面詳細(xì)給大家介紹。

　　深度學(xué)習(xí)在醫(yī)療領(lǐng)域的應(yīng)用不僅為個(gè)人帶來了新的變化，同時(shí)也為社會(huì)和人類未來的發(fā)展帶來了新的動(dòng)力。對(duì)整個(gè)行業(yè)和研究社區(qū)來說也有一些新的變化。我們也可以看到一些趨勢(shì)，也是我們所謂的深度學(xué)習(xí)動(dòng)量，上圖左邊展示的是SPIE、ISBI、MICCAI這三個(gè)頂級(jí)會(huì)議醫(yī)學(xué)影像圖片領(lǐng)域使用深度學(xué)習(xí)文章數(shù)量這幾年的比例變化，從2014年不到5%，到2017年，尤其是在ISBI上面，其比例已經(jīng)超過20%，從而證明了深度學(xué)習(xí)確實(shí)能夠?yàn)檠芯可鐓^(qū)帶來新的幫助，也確實(shí)成為了一個(gè)有用的工具。

　　研究機(jī)構(gòu)利用AI帶來了新的應(yīng)用和思路，解決了之前在醫(yī)療方面遇到的問題，現(xiàn)在有一百零六個(gè)初創(chuàng)公司，他們也在推動(dòng)整個(gè)醫(yī)療行業(yè)去使用AI。他們可能在各個(gè)領(lǐng)域，比如藥物發(fā)現(xiàn)、醫(yī)學(xué)圖像以及相關(guān)的自然語言處理等，豐富了整個(gè)生態(tài)環(huán)境，也希望今天的分享能夠給大家?guī)硪恍┬碌乃悸?，去打造在中國醫(yī)療行業(yè)的人工智能生態(tài)環(huán)境，幫助改善在未來醫(yī)療服務(wù)。

　　說起醫(yī)療行業(yè)的深度學(xué)習(xí)，不得不考慮對(duì)醫(yī)生和病人來說，他們?cè)谀男┓矫婵梢杂玫缴疃葘W(xué)習(xí)。比如在看病的時(shí)候，醫(yī)生怎么為病人制定治療方案。一方面，可以了解病人的基因，因?yàn)楹芏嗉膊∑鋵?shí)是基因的變異引起的，如果知道有基因變異的情況，就可以在最開始做一些人為干預(yù)和早期的治療。在看病時(shí)，醫(yī)生會(huì)去看病人以前的健康記錄，了解病人以前的健康狀況，從而幫助醫(yī)生診斷病情。

　　對(duì)患者來說，要去了解病人之間的差異，以及為什么會(huì)患病。比如有些人會(huì)患一種疾病，另外一些人不會(huì)患這種病，這樣就可以用深度學(xué)習(xí)做一些基礎(chǔ)的研究，加速藥物的發(fā)現(xiàn)過程，因?yàn)檫@些疾病只出現(xiàn)在了一些病人身上，通過篩選，以達(dá)到更好的治療效果。

　　其實(shí)醫(yī)生在工作期間不僅僅是為病人看病，也要去了解一些文獻(xiàn)和法規(guī)、寫論文，因?yàn)樗麄円残枰チ私忉t(yī)療行業(yè)最新的出版物，才能知道一些新的治療方式。今年關(guān)于癌癥的出版物有93393篇，到目前為止已經(jīng)有350萬篇論文，此時(shí)我們可以用深度學(xué)習(xí)從論文里挖掘出跟我們相關(guān)的信息，幫助醫(yī)生更好的了解到一些最新的研究動(dòng)態(tài)，尤其是在臨床方面，可以了解到最新的論文和研究狀態(tài)，以及一些最新的治療方法，從而提出新的治療方案，來研究能不能通過新的方法，或者一些驗(yàn)證過的方法去幫助病人獲得更好的治療效果。

　　醫(yī)生和病人之間是應(yīng)該有互動(dòng)的，醫(yī)生每天會(huì)看非常多的病人，他們看病的時(shí)候，其實(shí)也是一個(gè)經(jīng)驗(yàn)學(xué)習(xí)的過程，醫(yī)生可能從A病人的治療過程得到這樣一個(gè)經(jīng)驗(yàn)，從B病人的治療過程中得到另一個(gè)經(jīng)驗(yàn)。對(duì)于醫(yī)生來說，他們看到了這么多東西，并不是每一個(gè)都會(huì)記住，因?yàn)槿硕紩?huì)慢慢忘記以前的一些事情，因此我們可以用深度學(xué)習(xí)去記錄以前所有的經(jīng)驗(yàn)，并通過以前醫(yī)生在看病時(shí)候的情況，去收集這些病人的信息，從而輔助醫(yī)生在下一次判斷中做出最優(yōu)的決定，幫助醫(yī)生更好把以前所看過病的經(jīng)驗(yàn)利用起來，而不是會(huì)因?yàn)樘^忙碌忘記了以前的經(jīng)驗(yàn)去翻醫(yī)療記錄。

　　現(xiàn)在來看下深度學(xué)習(xí)在醫(yī)療領(lǐng)域的應(yīng)用有哪些。首先在放射科領(lǐng)域，我們希望通過早期的篩選和檢測(cè)，減輕病人因?yàn)榉暖煶惺艿耐纯?。在國外，大家每年都?huì)做體檢，希望在早期了解自己的身體狀況，把疾病治療提到早期階段，降低整個(gè)社會(huì)的負(fù)擔(dān)，同時(shí)也減輕個(gè)人痛苦。Zebra就在做這樣的工作，通過深度學(xué)習(xí)提高篩選的準(zhǔn)確率，降低檢測(cè)整體的誤報(bào)率，獲得更好的早期判斷結(jié)果。早期診斷只是告訴我們有和無的問題，下一步要解決的問題就是有多少，如上圖中間照片所展示，當(dāng)診斷出腫瘤之后需要去判斷腫瘤所在的部位、大小等情況，即是定量的分析，這種方式，也可以用深度學(xué)習(xí)來獲得更準(zhǔn)確的結(jié)果，并且可以降低病人治療時(shí)的痛苦。

　　另外一個(gè)讓人非常興奮的領(lǐng)域是精準(zhǔn)醫(yī)學(xué)，上圖右邊展示的是腦部掃描圖片。在面對(duì)某些腦癌的時(shí)候，醫(yī)生有能力去判斷需要什么藥物，問題是醫(yī)生不可能在大腦上打個(gè)洞，然后去切片，再去分析，現(xiàn)在通過腦部的MI掃描方式，用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)去判斷和預(yù)測(cè)患者腫瘤突變的概率，目前準(zhǔn)確度也超過了90%，使得醫(yī)生可以用精準(zhǔn)的藥物去幫助病人做治療，減輕他們的痛苦。

　　第二個(gè)領(lǐng)域是深度學(xué)習(xí)在診所里的應(yīng)用，三星和通用的掃描儀已經(jīng)在使用深度學(xué)習(xí)來優(yōu)化整個(gè)工作流，提高準(zhǔn)確性。比如嬰兒三維超聲波檢測(cè)時(shí)，可以凍結(jié)一些圖像進(jìn)行測(cè)量。第二個(gè)ARTERYS公司，也是首批通過FDA認(rèn)證的公司。通過與GE合作，把他們的工具帶到了心臟病專家那邊，進(jìn)行所有相關(guān)的一些檢測(cè)，能夠進(jìn)一步提高護(hù)理質(zhì)量。最后一個(gè)是PATHAI與飛利浦合作，也是第一個(gè)由FDA批準(zhǔn)的掃描儀診斷，通過將病理圖片與熱力圖結(jié)合，幫助病理學(xué)家分析腫瘤的情況，進(jìn)一步降低病理學(xué)家診斷錯(cuò)誤率，大約降低50%，使得病理學(xué)家在看圖的時(shí)候能夠更加方便。

　　第三個(gè)是深度學(xué)習(xí)在藥物發(fā)現(xiàn)方面的應(yīng)用，第一個(gè)是deep genomics公司。他的成立要追溯到2002年，當(dāng)時(shí)Brendan Frey的妻子懷孕了，在做檢查的時(shí)候發(fā)現(xiàn)孩子有遺傳缺陷，雖然只是可能，但是他們不得不終止妊娠。Brendan Frey是計(jì)算機(jī)工程的教授，所以他開始嘗試把深度學(xué)習(xí)和醫(yī)療結(jié)合到一起，要解決的痛點(diǎn)是人群中的DNA的變異數(shù)，突變概率大于1的SNP（單核苷酸多態(tài)性）有三百萬個(gè)左右，要完全的挨個(gè)調(diào)查SNP和疾病的關(guān)聯(lián)非常困難，因此要建立一個(gè)數(shù)學(xué)模型導(dǎo)入全部的健康基因組序列和SNP序列，對(duì)模型進(jìn)行訓(xùn)練，讓模型能夠?qū)W習(xí)到健康的RNA（核糖核酸）的裁剪模式，然后用分子生物學(xué)的方法驗(yàn)證模型，并加以校驗(yàn)，同時(shí)用病理數(shù)據(jù)，判斷模型輸出的準(zhǔn)確性，從而理解有害基因和基因突變病理之間關(guān)系，再做一些初步篩選，把有害基因和基因突變病理關(guān)系建立起來。

　　第二個(gè)是做分子系統(tǒng)的研究，在做新藥研究時(shí)遇到很多挑戰(zhàn)，HCS是指在保持細(xì)胞結(jié)構(gòu)和功能完整性的前提下，同時(shí)檢測(cè)被篩樣品對(duì)細(xì)胞形態(tài)、生長、分化、遷移、凋亡、代謝途徑及信號(hào)轉(zhuǎn)導(dǎo)各個(gè)環(huán)節(jié)的影響, 在單一實(shí)驗(yàn)中獲取大量與基因、蛋白及其他細(xì)胞成分相關(guān)的信息, 確定其生物活性和潛在毒性的過程，就是PHENOMIC AI要解決的。

　　第三個(gè)也是PathAI做的，通過熱力圖以及藥理的圖片，去幫助醫(yī)生更好的觀測(cè)現(xiàn)象。最后一個(gè)是CLOUD MEDX，他們拿到了很多醫(yī)療記錄，通過這些醫(yī)療的記錄，實(shí)時(shí)分析病人的信息，同時(shí)通過真實(shí)的病例數(shù)據(jù)和實(shí)驗(yàn)數(shù)據(jù)，做健康診斷的推薦，從而幫助醫(yī)生更好的做診斷，并合理進(jìn)行藥物的配發(fā)。

　　在各個(gè)方面的應(yīng)用講完之后，我想深入的講一下，目前這幾個(gè)領(lǐng)域，用到了什么樣的技術(shù)或者方法，可以幫助醫(yī)生改善診斷效果。最近有一部很火的電影叫《我不是藥神》,談到了醫(yī)藥公司的問題現(xiàn)狀，在最開始的專利期，他們的藥會(huì)價(jià)格非常高以收回投資成本。

　　因?yàn)樵卺t(yī)藥研發(fā)的領(lǐng)域，需要非常大的投資，需要非常多的人才，做非常多的實(shí)驗(yàn)，這些都是非常昂貴的成本。為了彌補(bǔ)企業(yè)成本并且達(dá)到盈利，只能在最開始的專利期收取高價(jià)，這也是為了讓藥物研發(fā)公司有動(dòng)力繼續(xù)投入研發(fā)。如果可以用深度學(xué)習(xí)的方式，或者用GPU加速整個(gè)藥物的研發(fā)過程。將能夠在一定程度降低藥物的價(jià)格，從而去幫助整個(gè)醫(yī)療行業(yè)進(jìn)入更加良性的發(fā)展階段。

　　既然可以用GPU和深度學(xué)習(xí)來加速，到底該怎么具體操作呢？如果有做視覺的同學(xué)，可能知道是從CNN開始，能夠取得一個(gè)好的效果，其實(shí)就是從圖片的分類開始。結(jié)果很簡單，就是用卷積核在圖片上面做卷積，然后經(jīng)過各種隱藏層的計(jì)算之后，可以判斷圖片內(nèi)容。圖片是一個(gè)很簡單、很規(guī)整的RGB數(shù)據(jù) ，但是對(duì)于藥物發(fā)現(xiàn)來說，藥物的結(jié)構(gòu)并不是一個(gè)規(guī)整的矩陣，該怎么來做呢？

　　這個(gè)時(shí)候就有了所謂的Graph convolution，即圖卷積。通過圖卷積的方式，可以把藥物的結(jié)構(gòu)映射成卷積結(jié)構(gòu)，映射成一個(gè)矩陣。然后就可以用CNN來做一些檢測(cè)判斷或者藥物的發(fā)現(xiàn)。那么圖上的卷積網(wǎng)絡(luò)從卷積方式來說，可以分為兩種，圖卷積和空間域卷積，在此只對(duì)空間域卷積進(jìn)行簡單的介紹。圖卷積是將卷積網(wǎng)絡(luò)的濾波器和圖信號(hào)，同時(shí)搬到傅立葉域之后再處理，而空間域卷積是用圖中的節(jié)點(diǎn)在空間域進(jìn)行相連達(dá)到層積的結(jié)構(gòu)，從而進(jìn)行卷積，獲得一個(gè)好的效果，具體怎么來操作呢？

　　跟傳統(tǒng)方法相比，圖卷積有更低的計(jì)算開銷和更少的計(jì)算時(shí)間，但是也有一個(gè)難點(diǎn)，就是很難保證準(zhǔn)確性。常見的圖卷積算法包括NFP、Weave、GGNN以及SGCN。這些方法都已經(jīng)應(yīng)用到了醫(yī)療領(lǐng)域，并進(jìn)行了一些基本的研究。

　　空間域的卷積相對(duì)來說比較簡單。以藥物分子為例，其實(shí)每一個(gè)分子，都可以看成一個(gè)節(jié)點(diǎn)，對(duì)每個(gè)結(jié)點(diǎn)去尋找最開始旁邊的域，一個(gè)分子會(huì)有非常多的節(jié)點(diǎn)，到底哪個(gè)節(jié)點(diǎn)，對(duì)這個(gè)分子比較重要，那肯定是連接數(shù)越多的越重要，通過這樣的方式篩選出很多節(jié)點(diǎn)，找到每個(gè)節(jié)點(diǎn)鄰近的幾個(gè)分子；第二步，把臨近的分子拼成一個(gè)感知域，之后用卷積神經(jīng)網(wǎng)絡(luò)，在感知域上做卷積操作，從而獲得該卷積域的特征。

　　做卷積時(shí)，會(huì)執(zhí)行一些非線性的操作，生成一些新的特征，然后應(yīng)用到節(jié)點(diǎn)上，圖卷積的過程之后加上Batch normalization、Dropout和Relu，重復(fù)四次，就是整個(gè)圖卷積的結(jié)構(gòu)。通過這樣的結(jié)構(gòu)，就能把分子的狀態(tài)應(yīng)用到CNN領(lǐng)域。不像以前，由于分子的結(jié)構(gòu)是非矩陣型的，不能夠進(jìn)行應(yīng)用，而和應(yīng)用相比能不能帶來加速呢，下面我就會(huì)給大家講一下。

　　這個(gè)是CPU和GPU在Tox21上使用GCN方法的性能比較，可以看到圖上最多有132個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)有六十四個(gè)feature（特征），跑了二十個(gè)Epoch，Batchsize是一百二十八，使用Tesla V100 GPU或Xeon E5-2698CPU，在準(zhǔn)確率達(dá)到90%的情況下，用CPU訓(xùn)練的時(shí)間是260秒，而GPU只用了32秒，也就意味著GPU是10倍快于CPU，因此我們能夠更好地利用GPU來加速藥物的研究，從而降低藥物研發(fā)成本和社會(huì)負(fù)擔(dān)，讓所有的患者用良心的價(jià)格獲得更好的藥物，其實(shí)還有很多方式可以把AI應(yīng)用到藥物發(fā)現(xiàn)領(lǐng)域。AI除了在藥物發(fā)現(xiàn)方面的應(yīng)用，也可以應(yīng)用于基因領(lǐng)域。

　　很多疾病是由于基因突變或者基因缺陷引起的。人類曾經(jīng)有一個(gè)非常大的工程叫做基因測(cè)序，把人類的兩對(duì)染色體進(jìn)行基因測(cè)序。具體怎么做基因測(cè)試的，不知道大家有沒有了解。那么我給大家介紹一下，首先將待測(cè)序的DNA進(jìn)行擴(kuò)增，復(fù)制出很多DNA，之后進(jìn)行加熱變性，由于基因是雙螺旋結(jié)構(gòu)，把雙鏈DNA分開之后，在里面加入引物，從而讓聚合酶發(fā)揮作用，這樣就可以復(fù)制這一段基因的信息。

　　把DNA聚合酶加入到反應(yīng)容器，每個(gè)反應(yīng)容器里面放的都是前面所提取出來的單鏈DNA，利用ATGC基本的堿基酶原料，就可以復(fù)制整個(gè)基因序列，同時(shí)放一個(gè)特殊的堿基A進(jìn)去，能夠停止復(fù)制。此時(shí)就可以開始進(jìn)行整個(gè)DNA的反應(yīng)。

　　在完成了DNA的反應(yīng)之后，因?yàn)橛幸粋€(gè)特殊的堿基A可以停止DNA的復(fù)制，在四個(gè)不同的樣本里，他們有很大的概率是在不同的時(shí)間停止，可以根據(jù)不同的停止情況，對(duì)其通電，較輕的DNA會(huì)在通電之后進(jìn)行移動(dòng)，通過熒光標(biāo)記的方式就可以在膠片上留下記號(hào)，從而得到整個(gè)DNA的順序。對(duì)于DNA測(cè)序有兩個(gè)難點(diǎn)需要解決，首先，染色體三十億對(duì)堿基，怎么去測(cè)序？其次是用什么辦法進(jìn)行加速。

　　對(duì)于人來說，兩對(duì)染色體包含30億個(gè)堿基對(duì)，包括了鳥嘌呤、胞嘧啶、腺嘌呤、胸腺嘧啶，組成二十三對(duì)染色體。但是我們這些儀器能夠產(chǎn)生十一個(gè)短序列，我們稱之為Read，每個(gè)read僅代表了三十億個(gè)堿基中的一百個(gè)，每個(gè)堿基的錯(cuò)誤概率在0.1%-10% 之間，把單一的、小的基因序列完整而準(zhǔn)確的拼起來是很困難的。這個(gè)時(shí)候Google cloud platform提出了開源的方案叫做DeepVariant，通過以編碼HTS儀器數(shù)據(jù)的方式，生成了數(shù)千萬個(gè)訓(xùn)練樣本，然后用這個(gè)訓(xùn)練樣本，基于TensorFlow做圖像分類，以便從儀器生成

　　的實(shí)驗(yàn)數(shù)據(jù)中識(shí)別出真實(shí)的基因組序列。通過這樣的方式，可以很簡單的判斷哪個(gè)基因組序列是正確的。在右邊的圖上，有四種基因組序列：正常的染色體、有一個(gè)堿基出現(xiàn)問題的染色體、兩個(gè)染色體對(duì)都被刪除，還有一種情況就是由于一些其他因素，比如在最開始做生成的時(shí)候復(fù)制出錯(cuò)等相關(guān)問題，就會(huì)出現(xiàn)最后一種圖像，通過這樣的方式，就能加速基因測(cè)試的過程。

　　加速完基因測(cè)試之后，把每一個(gè)read的結(jié)果拼到一起，中間會(huì)有一個(gè)比對(duì)過程，把每一個(gè)小的單元都跟其對(duì)應(yīng)的序列作比對(duì)，從而判斷是否準(zhǔn)確，此時(shí)就有了新的Parabricks，他們?cè)谧黾铀貲NA測(cè)序的工作，比如說用BWA MEM （比對(duì)的工具庫），支持較長的Read，然后做一些剪切性的比對(duì)。通過這樣的方式，用GPU來加速，可以看到跟32個(gè)CPU相比，其性能達(dá)到了25倍的提升，結(jié)果的準(zhǔn)確率達(dá)到100%。

　　接下來跟大家分析下AI在醫(yī)療記錄分析方面的應(yīng)用，醫(yī)療記錄分兩個(gè)部分：醫(yī)療文本記錄和醫(yī)療圖片記錄，這兩個(gè)領(lǐng)域分別有怎樣的研究，他們具體是怎么操作的呢？

　　第一個(gè)是依靠Icahn School提供的解決方案，他們通過12年的積累，總計(jì)700萬的醫(yī)療記錄，訓(xùn)練了一個(gè)深度學(xué)習(xí)模型，可以實(shí)現(xiàn)多疾病的預(yù)測(cè)，以前傳統(tǒng)的方法是收集醫(yī)療記錄做預(yù)測(cè)模型，但是只能預(yù)測(cè)一種疾病，現(xiàn)在可以預(yù)測(cè)七十八種疾病，并且能夠做到預(yù)防疾病的發(fā)生，可以很大程度上降低病人的痛苦。

　　第二個(gè)應(yīng)用是CLOUD MEDX做的，他們做的內(nèi)容跟之前幾家公司不一樣。前面幾家公司是基于已有的醫(yī)療記錄，生成預(yù)測(cè)模型，去預(yù)測(cè)病人患病的可能性。CLOUD MEDX則是拿到了一些電子健康記錄，比如病史、藥物測(cè)試報(bào)告等數(shù)據(jù)，里面有兩部分?jǐn)?shù)據(jù)，一部分是來自醫(yī)生記錄的，跟國內(nèi)一樣，大家都知道我們看自己的病例是看不懂的，當(dāng)拿到這些非結(jié)構(gòu)化數(shù)據(jù)之后，做數(shù)據(jù)結(jié)構(gòu)化的分析，然后直接結(jié)合NLP自然語言處理技術(shù)；另一部分是實(shí)驗(yàn)室的數(shù)據(jù)，或者生命統(tǒng)計(jì)的數(shù)據(jù)，通過這兩部分的數(shù)據(jù)，開發(fā)了一個(gè)新的AI平臺(tái)。

　　利用該平臺(tái)分析患者的整個(gè)病史、關(guān)聯(lián)的癥狀以及人口統(tǒng)計(jì)的數(shù)據(jù)和診斷，就可以看到該癥狀以及對(duì)應(yīng)其他臨床上的情況，從數(shù)據(jù)判斷患某種疾病的可能性，幫助醫(yī)生做一些推薦測(cè)試、藥物治療的方案以及輔助醫(yī)生修改治療方案等。

　　第二個(gè)領(lǐng)域就是醫(yī)療圖片，大多是指圖片分割和檢測(cè)判斷，這里大概有五個(gè)例子，我會(huì)詳細(xì)給大家介紹一下他們是怎么做的。

　　第一張圖是PathAI做的，把拿到的病例圖片以及識(shí)別出的結(jié)果做熱點(diǎn)圖，幫助醫(yī)生更好的判斷；第二個(gè)是由凱斯西儲(chǔ)大學(xué)做的，致力于常見的乳腺癌的研究，正常來說，女性發(fā)現(xiàn)乳腺癌之后，最開始醫(yī)生都會(huì)建議做化療，另一種方式是做病理切片，拿到切片的細(xì)胞信息之后才能判斷，該測(cè)試需要花費(fèi)四千美金，對(duì)于大多數(shù)非發(fā)達(dá)國家的人來說，他們是付不起的，那這個(gè)時(shí)候怎么做，他們又提出可以用MRI的一些照片，依據(jù)現(xiàn)在的病理學(xué)照片做風(fēng)險(xiǎn)評(píng)估。

　　這張圖展示的是一個(gè)library，即醫(yī)學(xué)圖像數(shù)據(jù)庫，醫(yī)學(xué)圖像由于其敏感性和工作量，正規(guī)的注冊(cè)數(shù)據(jù)集很難得到，但在診斷和治療中非常關(guān)鍵， 是美國的國立研究院提出的一個(gè)注冊(cè)系統(tǒng)，其實(shí)這就是一個(gè)獲得數(shù)據(jù)集的方法。

　　上圖展示的是用SocialEyes，基于我們的NVIDIA SHIELD 平板電腦上，可以利用里面的GPU，運(yùn)行深度學(xué)習(xí)的模型，去判斷眼部疾病，因?yàn)樵谝恍┢h(yuǎn)地區(qū)看眼科是非常難的，通過這樣一些模型，就能夠解決這些問題。

　　另外可以用深度學(xué)習(xí)做骨齡測(cè)試，傳統(tǒng)做法是用X射線圖片，和傳統(tǒng)的書里面的照片或者以前的圖像進(jìn)行比對(duì)，從而判斷骨齡?，F(xiàn)在可以用深度學(xué)習(xí)的方式，使用了大概七千四百個(gè)X光射線的記錄訓(xùn)練了一個(gè)深度學(xué)習(xí)的模型，能夠很快地進(jìn)行訓(xùn)練，通過這樣的方式，能夠很快的取得很好的結(jié)果，其實(shí)骨齡測(cè)量對(duì)小孩來說非常重要。尤其是在國內(nèi)，很多時(shí)候小孩的發(fā)展跟他的骨齡完全是不一樣的，怎么選擇更快的獲得結(jié)果并進(jìn)行干預(yù)是很重要的。

　　最后一個(gè)是用ML發(fā)現(xiàn)腦腫瘤，以前的做法可能需要直接打開頭顱，然后打個(gè)孔，去看拿到的切片，看看里面是不是有腫瘤，及腫瘤狀況?，F(xiàn)在MAYO CLINIC使用GPU加速，可以用MRI的信息，以前用非深度學(xué)習(xí)方法發(fā)現(xiàn)不了的數(shù)據(jù)信息，去做一些比對(duì)，進(jìn)而判斷到底里面是不是有腫瘤，準(zhǔn)確率也超過了90%，所以通過這樣的方式，不僅可以把以前的結(jié)果做得更好，同時(shí)也可以做以前不能做的，而對(duì)于medical image（醫(yī)學(xué)圖像）我們需要怎樣的一個(gè)平臺(tái)呢？

　　NVIDIA在2018年提出了CLARA平臺(tái)，我們叫做虛擬、通用、遠(yuǎn)程、可擴(kuò)展的平臺(tái)，所有的合作伙伴都可以加入進(jìn)來，利用NVIDIA GPU計(jì)算資源和加速庫，為醫(yī)院和合作伙伴提供新的算法和方案，CLARA平臺(tái)可以做基于DL-BASED的Image重建、深度學(xué)習(xí)的圖像分割、圖像渲染等操作，該平臺(tái)最底層用的是DGX以及NVIDIA的GPU，也會(huì)提供非常多的軟件庫，包括CUDA、cuDNN、TensorRT加速庫以及Image和各種虛擬化的APP，幫助大家利用這個(gè)平臺(tái)，開發(fā)出各種各樣的應(yīng)用。

　　首先從硬件開始，平臺(tái)底層需要做計(jì)算，我們使用了世界上第一臺(tái)GPU超級(jí)計(jì)算機(jī)DGX-1，里面配置了八塊32G Tesla V100 GPU以及NVLink Mesh。整個(gè)系統(tǒng)具有1 PetaFLOPS的計(jì)算性能，在做深度學(xué)習(xí)訓(xùn)練的同時(shí)，提供300 Gb/s的NVLink通信帶寬。從而保證在訓(xùn)練時(shí)能夠最快的取得效果。當(dāng)然這只是硬件方面，除了硬件之外，NVIDIA也提供了一整套的軟件支持。

　　硬件沒有軟件的支撐，是運(yùn)行不了的，雖然硬件達(dá)到了加速，軟件該如何操作呢？NVIDIA提供了一整套軟件棧，底層有我們的操作系統(tǒng)，上面有英偉達(dá)的GPU驅(qū)動(dòng)以及容器的Runtime，以保證在底層能夠調(diào)用GPU計(jì)算資源。

　　在GPU之上，NVIDIA還提供各種GPU Docker容器，比如Caffe，Caffe2，TensorFlow，PyTorch，Chainer等，這些容器和驅(qū)動(dòng)以及Docker，包括精簡過的OS，驅(qū)動(dòng)都是專門為DGX配置的，而且上面的容器都基于GPU的特性做過優(yōu)化，從而保證大家能夠用到最好的計(jì)算性能，訓(xùn)練出自己的GPU模型，為客戶提供應(yīng)用。

　　在DGX之上，我們有NGC（NVIDIA GPU Cloud），可以提供各種各樣容器鏡像，DGX也接入到了NGC，這樣用戶不需要再去配置硬件環(huán)境，通過NGC把容器鏡像拉下來，就可以開展深度學(xué)習(xí)的訓(xùn)練和Inference（推理）。

　　目前NGC提供的容器鏡像有35個(gè)，分別在不同的領(lǐng)域，包括深度學(xué)習(xí)、HPC、HPC的視覺、Kubernetes以及我們的合作伙伴提供的各種容器鏡像。

　　NGC提供的深度學(xué)習(xí)容器鏡像包括caffe、caffe2、CNTK，CUDA等，CUDA是NVIDIA提供 的一個(gè)基礎(chǔ)鏡像，包括DIGITS，對(duì)深度學(xué)習(xí)不熟悉的朋友，可以嘗試使用DIGITS，它是一個(gè)Web UL的界面，底層調(diào)用TensorFlow或者Caffe，在里面可以直接開始深度學(xué)習(xí)的訓(xùn)練，inference server是我們提供的一個(gè)Inference的API，它是一個(gè)推理的web框架范例。因?yàn)槲覀円龅木褪前延?xùn)練好的模型交付給客戶去使用，比如幫助醫(yī)生去做一些檢測(cè)。那么如何部署訓(xùn)練好的模型呢？就是使用inference server，它的作用就是把模型放進(jìn)去，相當(dāng)于一個(gè)web框架，此時(shí)會(huì)對(duì)外暴露出一個(gè)API以供調(diào)用，從而簡化模型開發(fā)的過程。

　　另外一個(gè)重要的容器鏡像叫做TensorRT，是NVIDIA提供的一個(gè)容器加速庫，里面已經(jīng)完成了相應(yīng)的配置，可以直接使用，能夠?yàn)樯疃葘W(xué)習(xí)模型帶來幾倍的加速，下面我會(huì)詳細(xì)介紹。

　　所以基于DGX的硬件，我們提供了專用的OS以及Linux Kernel和CUDA驅(qū)動(dòng)，在上面做各種各樣的容器化應(yīng)用，包括優(yōu)化好的TensorFlow、CNTK、caffe2、PyTorch等模型，以及各種各樣的軟件，包括之前提到的inference_ server，這樣一整套的軟件可以幫助大家更好的去開展深度學(xué)習(xí)訓(xùn)練，去應(yīng)用深度學(xué)習(xí)算法，或者開展一些算法的研究，同時(shí)大家也可以利用這些容器鏡像進(jìn)行自己的算法部署。

　　當(dāng)然除了DGX和NGC之外，還要考慮怎么使用GPU為深度學(xué)習(xí)加速？這里NVIDIA提供了DIGITS、深度學(xué)習(xí)框架以及深度學(xué)習(xí)的SDK。

　　深度學(xué)習(xí)的SDK主要包括cuDNN、NCCL、cuBLAS、cuSPARSE、TensorRT以及DeepStream6個(gè)部分。cuDNN是用CUDA寫的DNN加速器。NCCL用于做多GPU的通信，一般來說，訓(xùn)練的時(shí)候會(huì)有參數(shù)服務(wù)器，因?yàn)镚PU之間的數(shù)據(jù)是要通信的。怎么去加速GPU的通信呢？我們做了算法的實(shí)現(xiàn)，做了底層的優(yōu)化，比如說使用NVLink，多節(jié)點(diǎn)之間用了RDMA等，通過這樣的方式加速了通信。cuBLAS做一些線性代數(shù)的計(jì)算；cuSPARSE用于做稀疏矩陣的計(jì)算，TensorRT是做inference的加速引擎，可以做到inference的加速，最后一個(gè)是DeepStream，提供視頻分析的一些方案，提供整套的pipeline，底層調(diào)用GPU里面硬件核心、解碼器以及CUDA核，從而完成一整套的計(jì)算過程。

　　cuDNN是一個(gè)高性能深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)加速庫，被利用到所有的深度學(xué)習(xí)框架中，包括Caffe、Caffe2、CNTK、TensorFlow、PyTorch等，都在用cuDNN做加速。當(dāng)然如果需要寫自己的軟件，也可以用cuDNN來加速，從上圖可以看到從最開始的8個(gè)K80，到8個(gè)Maxwell，再到DGX-1和DGX-

　　1V，在不同的cuDNN版本和不同的硬件上，其性能差距是非常大的。在深度學(xué)習(xí)的訓(xùn)練方面，從最開始的1000張不到，現(xiàn)在可以訓(xùn)練的圖片大概超過10000張，能夠進(jìn)一步加速訓(xùn)練，帶來10倍的加速提升，而這樣的加速對(duì)于開發(fā)成熟的產(chǎn)品是非常重要的。

　　NCCL用于多GPU之間的通信，使用通信算法，底層采用NVLink，PCIe和 InfiniBand，同時(shí)能夠去檢測(cè)到整個(gè)系統(tǒng)的拓?fù)浣Y(jié)構(gòu)。從上圖可以看到最開始的Maxwell，以及兩個(gè)P100的比較，然后到1024個(gè)P100，可以看到用NCCL在GPU通訊方面能夠達(dá)到線性的加速，也意味著通信的開銷不會(huì)導(dǎo)致訓(xùn)練的延時(shí)，這個(gè)是非常難做的。有HPC (高性能計(jì)算) 背景的朋友都知道，能達(dá)到線性的加速是非常難的一個(gè)任務(wù)，而NCCL在通信方面取得了這樣的效果。

　　最后一個(gè)我想講的是TensorRT，訓(xùn)練好一個(gè)模型，最重要的是模型的準(zhǔn)確性和怎么把模型交付給客戶使用？推理和訓(xùn)練其實(shí)是不一樣的，訓(xùn)練時(shí)可能用的是FP32的精度，但在推理的時(shí)候，可以用更低的精度。訓(xùn)練時(shí)，各層之間的關(guān)系是固定的，而且需要把中間參數(shù)保存下來，從而進(jìn)行反向迭代。但推理時(shí)，只有正向的迭代，此時(shí)可以通過使用TensorRT達(dá)到免費(fèi)加速的效果。TensorRT可以做一些Layer fusion，同時(shí)也可以做些精度校準(zhǔn)，對(duì)于不同的GPU卡，可以實(shí)現(xiàn)模型的自動(dòng)調(diào)整，動(dòng)態(tài)分配內(nèi)存，不管是在內(nèi)存、計(jì)算、網(wǎng)絡(luò)結(jié)構(gòu)以及參數(shù)精度方面，都可以用TensorRT達(dá)到更好的效果，取得一更好的性能。以P4為例，如果使用FP32精度的參數(shù)算力可以達(dá)到5.5T，如果使用Int 8精度的參數(shù)算力可以達(dá)到22T，所以說硬件的性能提升也需要通過軟件的優(yōu)化才能夠完成。

　　最后我想講的是deep learning的菜單，在醫(yī)療領(lǐng)域最重要的就是數(shù)據(jù)，當(dāng)然也需要強(qiáng)大的計(jì)算力。在此基礎(chǔ)上，我們可以用監(jiān)督學(xué)習(xí)，或者增強(qiáng)學(xué)習(xí)，訓(xùn)練各種模型。關(guān)于數(shù)據(jù)來源，我們有各種合作伙伴和研究機(jī)構(gòu)，他們會(huì)為我們提供各種數(shù)據(jù)集。我們也在跟很多醫(yī)院展開合作，能夠提供這樣的數(shù)據(jù)。我們?yōu)榇蠹姨峁┳羁斓挠?jì)算平臺(tái)，以保證拿到這些數(shù)據(jù)之后，能夠最快的取得結(jié)果。而在算法方面，現(xiàn)在深度學(xué)習(xí)社區(qū)，每年大概有幾萬甚至十幾萬篇論文發(fā)出來，他們提供了各種各樣的思路，比如做圖像分割，最開始從一個(gè)很簡單的網(wǎng)絡(luò)開始，后來用FCN來實(shí)現(xiàn)，現(xiàn)在可能用GAN來做。

　　通過不同的算法，完成各種各樣的應(yīng)用，解決醫(yī)療上各種各樣的難題。不管是對(duì)個(gè)人來講，還是對(duì)社會(huì)來講，都能帶來很大的幫助。

　　以上就是我今天關(guān)于AI在醫(yī)療領(lǐng)域應(yīng)用的一些分享，謝謝大家！

　　提問環(huán)節(jié)

　　問題一

　　郭家豪-上海應(yīng)用技術(shù)大學(xué)-研究助理

　　針對(duì)傳統(tǒng)的在校醫(yī)學(xué)生，畢業(yè)后希望轉(zhuǎn)型到醫(yī)療領(lǐng)域的深度學(xué)習(xí)中，在這一轉(zhuǎn)型中，優(yōu)勢(shì)有哪些？劣勢(shì)有哪些？針對(duì)深度學(xué)習(xí)的技術(shù)，最關(guān)鍵的核心技術(shù)是哪一塊兒？

　　羅晟：你現(xiàn)在是在醫(yī)療行業(yè)，如果你想要轉(zhuǎn)型到深度學(xué)習(xí)，我們是非常歡迎的，同時(shí)我們也非常希望有專業(yè)的醫(yī)療行業(yè)的人才加入到深度學(xué)習(xí)的隊(duì)伍當(dāng)中，因?yàn)閷?duì)于深度學(xué)習(xí)來說，它只是一個(gè)工具，怎么用這個(gè)工具，在哪個(gè)方向能夠用這個(gè)工具才是最關(guān)鍵的。你的優(yōu)勢(shì)在于知道怎樣應(yīng)用深度學(xué)習(xí)技術(shù)，用在什么方向，你只要去加強(qiáng)深度學(xué)習(xí)方面的技術(shù)，甚至可以讓專業(yè)的技術(shù)人員幫你做加速。我相信未來也會(huì)有相應(yīng)的工具，能夠讓人很快的使用，所以方向才是最重要的。

　　其實(shí)，在深度學(xué)習(xí)領(lǐng)域，想要知道怎么應(yīng)用，確定好要用的醫(yī)療技術(shù)及方向之后，就可以用GPU技術(shù)來實(shí)現(xiàn)，NVIDIA提供了所有框架的優(yōu)化，你可以使用這些框架來做數(shù)據(jù)整理，確認(rèn)好方向之后，有各種各樣的research community提供的網(wǎng)絡(luò)，都可以去嘗試，從而在確定的方向取得一定的成果，我相信在確定了方向之后，一切的技術(shù)，都不會(huì)成為你的阻礙，而且這樣的技術(shù)肯定會(huì)隨著未來的發(fā)展也變得越來越普及，越來越有用。

　　問題二

　　高蓉彬-甘肅畜牧工程職業(yè)技術(shù)學(xué)院-教師

　　深度學(xué)習(xí)對(duì)藥物藥理學(xué)研究能起到什么作用？

　　羅晟：我前面的內(nèi)容已經(jīng)涉及到了怎么用深度學(xué)習(xí)做藥理學(xué)的研究以及在分子方面的研究。比如做藥物發(fā)現(xiàn)時(shí)使用GCN網(wǎng)絡(luò)，通過該方法，可以去把藥物分子結(jié)構(gòu)做映射，從而知道不同的藥物之間互相的聯(lián)系，同時(shí)也可以判斷藥物之后的結(jié)果是什么樣的，這些都可以用深度學(xué)習(xí)來完成。

　　問題三

　　羅力川-大唐電信-芯片設(shè)計(jì)工程師

　　該平臺(tái)是否用到了英偉達(dá)的 DLA加速器了嗎？如果用到了，可否詳細(xì)介紹下？

　　羅晟：很高興聽你提到NVIDIA的DLA，DLA是一個(gè)深度學(xué)習(xí)加速器，目前實(shí)現(xiàn)是在Jetson Xavier上面，Xavier現(xiàn)在是在申請(qǐng)?jiān)囉弥小．?dāng)然不管是DLA也好， Xavier也好，Tesla GPU也好，還是Tensor Core也好，各種軟件在NVIDIA平臺(tái)都是統(tǒng)一的。任何軟件都可以運(yùn)行在NVIDIA任何版本的GPU上，并且都可以取得很好的效果。

　　同時(shí)這部分的加速都是用TensorRT來實(shí)現(xiàn)，TensorRT可以去感知不同硬件的區(qū)別，比如P4有Int8的支持，而在P40和v100上有FP16的支持，這樣TensorRT就可以屏蔽底層任何硬件的信息來使用。但另一個(gè)方面，因?yàn)閄avier現(xiàn)在是剛開發(fā)出來。相信在未來，比如我有一個(gè)平板電腦，就跟我前面案例提及的平板電腦，提供這樣的解決方案，幫助貧困地區(qū)的人們使用到GPU加速，在醫(yī)療行業(yè)為邊遠(yuǎn)地區(qū)的人民帶來新的希望。

　　問題四

　　秦智勇-北京微電子所-工程師

　　醫(yī)療領(lǐng)域信息比較私密，訓(xùn)練怎樣解決數(shù)據(jù)源的問題？

　　羅晟：這個(gè)問題問的非常好，醫(yī)療行業(yè)數(shù)據(jù)是比較私密的，怎么解決數(shù)據(jù)源的問題呢？其實(shí)我是這么理解的，首先在最開始訓(xùn)練的時(shí)候，會(huì)有各種各樣的開放的數(shù)據(jù)集，可以去使用。另一方面，也可以嘗試跟一些重要的醫(yī)療機(jī)構(gòu)進(jìn)行合作，我相信隨著深度學(xué)習(xí)的發(fā)展，他們未來會(huì)需要用到深度學(xué)習(xí)的技術(shù)，而通過合作，他們可以提供各種各樣的數(shù)據(jù)，就像我前面的提到一個(gè)案例，美國的一個(gè)研究所，就在展開這樣的一個(gè)合作項(xiàng)目，去收集各樣各種各樣的數(shù)據(jù)，并開放給大家，幫助大家把深度學(xué)習(xí)的技術(shù)更好的的應(yīng)用在醫(yī)療方面。

　　問題五

　　張承龍-中科院計(jì)算所-程序員

　　醫(yī)療領(lǐng)域主要采用哪種深度學(xué)習(xí)模型，為什么這種模型效果要好，怎么進(jìn)行小樣本學(xué)習(xí)？

　　羅晟：深度學(xué)習(xí)模型有很多種，主要還是取決于應(yīng)用的領(lǐng)域。比如藥物發(fā)現(xiàn)領(lǐng)域，可能會(huì)用圖卷積的網(wǎng)絡(luò)，兩種圖卷積的模型都可以使用。如果是一些文本的記錄，肯定會(huì)用到NLP以及相關(guān)的模型；而對(duì)于醫(yī)療圖片，目前來說比較前沿的都會(huì)用GAN（生成時(shí)對(duì)抗網(wǎng)絡(luò)）來做，訓(xùn)練一個(gè)圖像分割器，以及一個(gè)生成器，來訓(xùn)練一個(gè)更好的模型。

　　當(dāng)然對(duì)于medical image來說，現(xiàn)在是比較容易做的。但是因?yàn)镚AN有一個(gè)很大的問題，就是訓(xùn)練比較難。對(duì)于圖像分割，用FCN可以取得一個(gè)好的效果。小樣本的學(xué)習(xí)，可以通過數(shù)據(jù)增強(qiáng)的方式，把數(shù)據(jù)集擴(kuò)大，同時(shí)訓(xùn)練時(shí)不要選擇太過復(fù)雜的網(wǎng)絡(luò)，以避免一些問題，同時(shí)也可以進(jìn)行一些數(shù)據(jù)的收集，以便在未來獲得一個(gè)通用性更強(qiáng)的模型。

　　問題六

　　潘宇-北航-微電子專業(yè)學(xué)生

　　目前要實(shí)現(xiàn)深度學(xué)習(xí)在醫(yī)療領(lǐng)域更好的應(yīng)用還有哪些問題需要解決

　　羅晟：我覺得有非常多的問題需要解決，比如拿到了數(shù)據(jù)如何解釋。很多年前我在跟清華的一個(gè)教授合作的時(shí)候，使用一些醫(yī)療的信息，比如用深度學(xué)習(xí)去挖掘診脈的信息，怎么讓診脈的結(jié)果出來之后可以做判斷？之前去拍MI和CT照片的時(shí)候，為什么醫(yī)生可以說這樣是有問題的，那樣是沒問題的呢？

　　我相信在當(dāng)時(shí)也是通過數(shù)據(jù)統(tǒng)計(jì)的方法，因?yàn)橛行┎∪薓I和CT的照片里面有這樣的情況，所以我們就理解這個(gè)地方有這樣的問題。對(duì)深度學(xué)習(xí)或者在醫(yī)療行業(yè)做medical image來說，解決這個(gè)問題很簡單，我們能夠?qū)ψ詈蟮慕Y(jié)果給出一定的解釋。不管是經(jīng)驗(yàn)也好，還是怎樣，我們能夠把它還原成類似MRI的照片從而告訴醫(yī)生這個(gè)地方是有問題的，通過這樣的方式，把可解釋性解決。從另一個(gè)方面就是我們的技術(shù)還有更多方面需要挖掘，在藥物發(fā)現(xiàn)里面怎么去做進(jìn)一步的加速，在診斷系統(tǒng)里面，怎樣更好的提高系統(tǒng)的準(zhǔn)確性等，這些都是未來技術(shù)需要去解決的，也需要我們?nèi)橹Α?/p>

　　問題七

　　喬冠超-電子科技大學(xué)-微電子專業(yè)學(xué)生

　　深度學(xué)習(xí)在醫(yī)療領(lǐng)域的應(yīng)用在技術(shù)方面和其他領(lǐng)域有什么區(qū)別？主要是算法的創(chuàng)新還是硬件平臺(tái)的創(chuàng)新？

　　羅晟：從技術(shù)根本來說，很多領(lǐng)域，比如圖片與圖像領(lǐng)域是一樣的，沒有太多的區(qū)別，在深度學(xué)習(xí)領(lǐng)域，我們談?wù)摰氖峭ㄓ眯偷哪Ｐ?，雖然不是通用人工智能。像前面的例子，一個(gè)模型可以預(yù)測(cè)七十八種疾病，而之前只能識(shí)別一種，這樣一個(gè)通用的模型最重要一點(diǎn)就是數(shù)據(jù)，能提供這樣的數(shù)據(jù)，就需要一些數(shù)據(jù)的創(chuàng)新，也需要算法的創(chuàng)新和更強(qiáng)的算力。

　　因?yàn)楦嗟臄?shù)據(jù)，意味著需要更強(qiáng)的算力來支撐計(jì)算，有更好的模型能夠提供更好的精確性，但是在一定程度上模型的復(fù)雜度肯定是在增加的，也是需要更大的算力來支持的。所以更強(qiáng)的算

　　力能夠保證可以去做一些迭代和測(cè)試，從而推動(dòng)模型的發(fā)展，收集更多的數(shù)據(jù)，其實(shí)三者是相輔相成的。

　　問題八

　　劉汝洲-北京精真估-NLP技術(shù)部負(fù)責(zé)人

　　NLP在疾病診斷方面有哪些落地的應(yīng)用

　　羅晟：前面已經(jīng)講過關(guān)于NLP相關(guān)內(nèi)容，可以用NLP對(duì)一些病例的信息分析，對(duì)于病例的分析主要有兩個(gè)方面，首先我們可以拿到一些疾病的信息，去做預(yù)測(cè)，當(dāng)我們拿到一個(gè)最新的病人信息，把它放到模型里面，可以通過病歷記錄訓(xùn)練出一個(gè)模型，從而去判斷是否有潛在的疾病風(fēng)險(xiǎn)；另一方面，拿到這些信息之后，跟真實(shí)的信息進(jìn)行比對(duì)，可以去做些推薦，獲得更好的推薦結(jié)果，這兩方面也已經(jīng)落地應(yīng)用了。

　　當(dāng)然還有很多，現(xiàn)在有各種各樣的機(jī)器人在醫(yī)院里面提供服務(wù)，比如問診機(jī)器人，去醫(yī)院就診時(shí)，可以去問一下機(jī)器人，它會(huì)根據(jù)你的描述給出相應(yīng)的診斷反饋，這些都是未來需要提供的，也有一些項(xiàng)目已經(jīng)落地，我覺得是非常好的?，F(xiàn)在的三甲醫(yī)院是非常擁擠的，有了最開始的定位，才能更準(zhǔn)確的選擇相應(yīng)的科室，或者根據(jù)這些基本信息推薦解決方案等。