由李飛飛教授創(chuàng)辦的公益機構(gòu) AI4All" target="_blank">AI4All 致力于提高人工智能領(lǐng)域的多樣性和包容性。該組織提供教育和導師計劃為美國和加拿大的少數(shù)群體人才提供學習途徑，AI4All 為高中學生提供盡早接觸 AI 的機會。剛剛，李飛飛發(fā)推贊揚 AI4All 成員 Amy Jin、斯坦福大學博士 Serena Yeung 和斯坦福 PAC 團隊的合作者一道在 AI+醫(yī)療領(lǐng)域做出的貢獻：他們合作設(shè)計了一款軟件來評估外科醫(yī)生的技能。

PAC 團隊的負責人是李飛飛和醫(yī)學教授 Arnold Milstein，其整合了斯坦福以及其他醫(yī)學院的一系列跨學科資源，主要是想用 AI、計算機視覺等技術(shù)解決一些醫(yī)療健康中的難題。

該研究論文已在 arXiv 上發(fā)布，一作 Amy Jin 今年 18 歲，最近剛剛高中畢業(yè)，是個喜歡 hip-hop、小提琴和英國文學的女孩。而她對計算機科學的熱情使她成為人工智能領(lǐng)域的 superstar。

據(jù)斯坦福大學醫(yī)學院的報道，Amy Jin 六年級時就對 AI 產(chǎn)生了興趣，但直到成為高中生，她對 AI 的熱情才開始燎原，當時她聽到 IBM 科學家介紹 Watson 超級計算機能夠通過人工智能擴展人類在醫(yī)療及其他領(lǐng)域的能力，教會機器「思考」和「看見」?！竁atson 能夠成為醫(yī)生的第二雙眼睛」，這使 Amy 震驚又興奮，她認為 AI 領(lǐng)域可以產(chǎn)生很多跨學科的可能性，因此非常有潛力。

Amy Jin 其它兩位斯坦福的導師共同設(shè)計了一款軟件，可以評估外科醫(yī)生的技能。

過去兩年，Jin 與斯坦福大學的導師共同設(shè)計了一款新的軟件，用于評估外科醫(yī)生的技能。該軟件的工作原理是：「觀看」外科手術(shù)的視頻，然后追蹤手術(shù)過程中的動作、計算每個步驟中使用器械的時長。該創(chuàng)新成果獲得了 NIPS 2017 Machine Learning for Health 研討會的頂級研究獎項。斯坦福大學醫(yī)學院 Clinical Excellence Research Center 負責人、醫(yī)學博士 Arnold Milstein、研究論文共同作者預測該方法將在客觀評估臨床醫(yī)生的多項臨床技能中實現(xiàn)新突破。

Milstein 表示：「它提供了一種方式，根據(jù)醫(yī)生的學習速度定制外科訓練的時間。以及它提供了一套更客觀的方法來定期評估外科醫(yī)生的技能，或者在醫(yī)生大手術(shù)期間及時提醒 Ta 需要休息?！?/p>

Serena Yeung（左）和 Jeff Jopling（右）與 Amy Jin 合作設(shè)計該軟件。

Amy Jin 在讀高中時參加了斯坦福 AI 實驗室舉辦的 Outreach Summer Program，該項目旨在鼓勵年輕女性投入科學研究。在該項目中，她與 Serena Yeung、Jeff Jopling 等人合作開展了利用 AI 技術(shù)改善醫(yī)療衛(wèi)生的研究。

Serena Yeung 在 AI4All 導師計劃中負責指導 Amy Jin，當時她仍是李飛飛和 Arnold Milstein 的博士生，看過 CS231n 2017 的讀者可能會對她比較熟。Serena Yeung 對醫(yī)學一直很感興趣，而在斯坦福大學的教育經(jīng)歷使她對工程、AI 產(chǎn)生了興趣，曾在 Facebook 和 Google 實習。后加入 Arnold Milstein 的項目，致力于使用技術(shù)來改善醫(yī)療實踐。

Jeff Jopling 是醫(yī)學博士，前 CERC 學者，他提出使用計算機技術(shù)來追蹤外科手術(shù)技能，認為手術(shù)技能非常重要。根據(jù) National Academy of Medicine 1999 年的一份報告，醫(yī)療衛(wèi)生中的安全問題是重點，很高比例的死亡率和傷殘率來源于醫(yī)療過程中的人為誤差。醫(yī)生想利用手術(shù)安全核查表最小化可避免的并發(fā)癥、避免錯誤。

Jeff Jopling 稱，很多研究聚焦于改善系統(tǒng)，但醫(yī)生及其技能也很重要。

評估外科醫(yī)生技能這一項目于 2016 年夏天正式啟動，其挑戰(zhàn)在于「教」計算機識別并追蹤手術(shù)工具的移動路徑。這是一個目標檢測問題，該領(lǐng)域近年來發(fā)展迅速，李飛飛實驗室功不可沒。

機器之心Synced圖像分類小程序

定位數(shù)據(jù)點

研究人員開發(fā)了一種算法，教計算機從饋入的上千個數(shù)據(jù)點中學習。計算機根據(jù)每個比特的數(shù)據(jù)逐漸調(diào)整，直到達到可以形成準確目標圖像的程度，在這個項目中目標指的是外科手術(shù)工具。Jin 改進了一些目標檢測技術(shù)，將其應用于外科手術(shù)。她表示，「總的想法是，如果我們可以追蹤、識別視頻中的工具，我們就能更好地分析工具使用模式及其移動?！?/p>

為簡單起見，研究人員主要聚焦膽囊切除手術(shù)。這種手術(shù)最多用到 7 種工具。他們拿到了 15 個相關(guān)手術(shù)視頻，標注了其中的 2500 幀，而且為每一幀附加了一個值，以便計算機構(gòu)建工具的視覺圖像，并在手術(shù)野范圍內(nèi)定位它們。他們利用度量來追蹤工具的使用時間，即何時使用何種工具、使用了多久，并繪制了每種工具的路徑圖。此外，他們還繪制了熱圖，顯示這些工具在手術(shù)野內(nèi)的分布。嫻熟的外科醫(yī)生通常會將工具放得比較集中。

研究人員可以根據(jù)視覺信息和數(shù)據(jù)從多個角度評估外科醫(yī)生的表現(xiàn)，包括他們的動作是否簡潔、每個步驟的操作是否高效等。接下來，他們請三位斯坦福的醫(yī)生單獨觀看視頻，并依據(jù)效率、雙手靈活性和對人體組織的處理等廣泛使用的指標按 1-5 分的范圍進行打分。

「機器對手術(shù)的評價機制與醫(yī)生的評分機制相關(guān)?！筜eung 表示。

例如，膽囊切除手術(shù)有一個關(guān)鍵步驟，醫(yī)生必須夾住并切斷向膽囊供血的膽囊動脈和傳輸膽汁的膽囊管。如果操作得當，這個步驟可以防止術(shù)中和術(shù)后出血及膽汁滲漏。如果夾子放錯了位置或者松動了，病人會遭受致命的并發(fā)癥。

嫻熟的醫(yī)生可以用較少的動作高效地處理這一問題。其中一個視頻顯示了一名外科醫(yī)生的嫻熟技巧，他/她將剪刀和其他工具放得恰到好處。而在另一段視頻中，一名外科醫(yī)生多用了一個夾子并努力將其放在適當?shù)奈恢茫笥只诵r間將其弄開。計算機不僅通過查看器械的放置位置和路徑，還通過查看手術(shù)持續(xù)時間來檢測技能水平的差異。

研究小組將分析結(jié)果——《Tool Detection and Operative Skill Assessment in Surgical Videos Using Region-Based Convolutional Neural Networks》提交給 NIPS 2017 Machine Learning for Health 研討會，該論文在 120 多份論文中脫穎而出，被選為 10 份 spotlight 論文之一。

進一步優(yōu)化

Jopling 表示，項目的下一步是收集 1000 多個記錄不同手術(shù)的視頻。斯坦福將與猶他州聯(lián)合醫(yī)療中心（Intermountain Healthcare，旗下有 22 家醫(yī)院）合作，共同分析視頻并改進這一評估工具。未來的研究還將考慮外科手術(shù)的復雜性，例如，有些膽囊切除手術(shù)很簡單，有些卻很難，因為不同患者的醫(yī)療情況不同。

他還表示，這項技術(shù)在外科手術(shù)培訓中特別有用。外科醫(yī)生檢查受訓者表現(xiàn)時通常一坐就是幾小時，非常吃力。而自動系統(tǒng)可以為他們代勞，還可以在受訓者可能出現(xiàn)失誤時實時提醒醫(yī)生。知道醫(yī)生什么時候開始疲勞、精力不濟，對手術(shù)結(jié)果來說非常重要。根據(jù)這個可以判斷主刀醫(yī)生何時應該休息并由助手接手。

Milstein 向斯坦福大學外科教授兼主席 Mary Hawn 分享了這項研究，后者非常樂意將完善后的模型提交給美國外科委員會（American Board of Surgery），作為當前委員會認證考試的補充。

但并非所有外科醫(yī)生都樂意讓一臺機器來評價自己的技術(shù)。甚至有人表示，當這么一天到來時，自己將提前退休。

不過，Yeung 指出，此項 AI 技術(shù)可以廣泛應用于醫(yī)療領(lǐng)域。例如，該研究組一直在測試用它來監(jiān)控 ICU 病人的活動、護理人員是否遵循了確保病人安全的步驟。這項技術(shù)還能用來監(jiān)控家中虛弱的老人，測試其活動和行動能力，當他們跌倒或發(fā)生其他意外時提醒其他人。

Yeung 還表示，如今的臨床醫(yī)生、護士和其他醫(yī)療保健服務(wù)人員都不堪重負，隨著嬰兒潮一代年齡的增長，這個問題將變得更加嚴峻。而人工智能存在巨大潛力，可以幫助我們持續(xù)了解、監(jiān)控正在發(fā)生的事，進而幫助醫(yī)療保健服務(wù)人員，防止認知過載。

不過，Jin 不會繼續(xù)參與這項斯坦福的研究。她現(xiàn)在是哈佛的大一新生，跟隨其兄的步伐。雖然沒法再繼續(xù)參與項目，但 Jin 對該項技術(shù)的后續(xù)發(fā)展仍然充滿期待。

相關(guān)論文：Tool Detection and Operative Skill Assessment in Surgical Videos Using Region-Based Convolutional Neural Networks

論文鏈接：https://arxiv.org/abs/1802.08774

摘要：世界上約有 50 億人無法獲得高質(zhì)量的外科護理。外科醫(yī)生的技能差異很大，很多接受外科手術(shù)的患者會遭受并發(fā)癥和本來能避免的傷害。改善外科手術(shù)的訓練和反饋機制可以幫助降低并發(fā)癥的發(fā)生率，其中一半的并發(fā)癥已經(jīng)證明可以被預防。要做到這一點，重要的是評估手術(shù)操作技能，手術(shù)過程目前仍需要專家參與，它是手動、耗時且主觀的。

本研究介紹了一種自動評估外科醫(yī)生表現(xiàn)的方法，該方法主要通過基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)自動追蹤和分析手術(shù)視頻中的工具運動而完成。為了研究這個問題，我們引入了一個新數(shù)據(jù)集 m2cai16-tool-locations，它標注了工具的空間界限。雖然以前的方法已經(jīng)解決了工具的存在性檢測問題，但我們的方法是第一種不僅能夠檢測工具的存在性，還能在實際的腹腔鏡手術(shù)視頻中對手術(shù)工具進行空間定位的方法。

我們的實驗表明該方法既能高效地檢測手術(shù)工具的空間界限，同時顯著優(yōu)于現(xiàn)有的工具存在性檢測方法。我們進一步證明了該方法通過分析手術(shù)工具的使用模式、作業(yè)范圍和作業(yè)有效性來評估外科手術(shù)質(zhì)量的能力。