剛被曝光的IBM內部文件顯示,許多醫(yī)生在使用Watson時,發(fā)現(xiàn)AI給出了“多個不安全、不正確的治療意見”,甚至在極端的診斷案例中,Watson給有出血癥狀的癌癥病人開了容易導致出血的藥品,嚴重時可致患者死亡。
去年,在美國臨床腫瘤學會年會上發(fā)表的研究表明,IBM Watson非常擅長為癌癥患者制定治療計劃。然而,事實證明人工智能仍然遠非完美。
可能你還不知道,明顯存在bug的Watson系統(tǒng)并不是一個實驗室中樣品,這個可能會治死人的Watson已被全球超過230家醫(yī)院使用,其中包括北大腫瘤醫(yī)院、宣武醫(yī)院等67家中國醫(yī)院,分布在22個省份。
佛羅里達州朱庇特醫(yī)院的一位醫(yī)生告訴IBM高管,“在大多數情況下我們不能使用它?!?/p>
這些文件來自IBM Watson前副衛(wèi)生主任Andrew Norden在他離開公司之前的演講,一般只有IBM的管理層有權限查看。Norden在2017年6、7月間給出的報告顯示,正在使用Watson for Oncology(Watson腫瘤解決方案)的醫(yī)生們紛紛指出,Watson經常提出不準確的醫(yī)療建議。
文件中一個嚴重的例子是:
一名65歲的男性被診斷出患有肺癌,而同時,該患者也似乎有嚴重的出血癥狀。Watson給這名患者的診療建議是:
1、接受化療;
2、使用治療癌癥的藥物貝伐單抗(Bevacizumab,商品名Avastin阿瓦斯?。?/p>
而貝伐單抗這種藥物可能導致的副作用之一,正是容易導致出血。在美國衛(wèi)生系統(tǒng)藥劑師協(xié)會對該藥物的描述中,這種藥物有時會發(fā)生嚴重乃至致命的出血事件,所以該協(xié)會建議不要給嚴重出血的患者服用。
除了展示客戶不滿意外,他們還揭示了方法、過程和底層技術上的問題:Watson for Oncology應該綜合大量數據并提出新穎的見解。但事實上,提供給它的大多數數據都是假設的,而不是真實的患者數據。這意味著Watson提出的建議僅僅基于提供數據的少數醫(yī)生,們的治療偏好,而不是從分析真實案例中獲得的實際見解。
一位IBM發(fā)言人曾表示,Watson for Oncology“支持超過84,000名患者的護理”并且仍在學習。但很顯然,它學的或者并不是基于真實的情況。據媒體報道,有這一系統(tǒng)的230家醫(yī)院中,至少包含了67家中國醫(yī)院。
Watson最早進入公眾視野是在2011年,它當時在電視智力節(jié)目《危險邊緣》中擊敗了人類。這套系統(tǒng)具備強大的自然語言處理和數據庫掃描能力,因而可以理解現(xiàn)場的復雜問題,快速給出答案。
外界對Watson這臺智能超算的有效性,已經進一步產生了質疑。IBM向Watson業(yè)務投入數十億美元,但“Watson醫(yī)生”尚未給醫(yī)療行業(yè)帶來革命,而且該部門對IBM仍然很難實現(xiàn)盈利。
雖然紀念斯隆-凱特琳癌癥中心認為醫(yī)生們給人看病的時候不傻,不會完全聽信Watson,但醫(yī)生們的懷疑和抱怨卻并不會因此消減。
首先這個案例說明:Watson的訓練,是通過假設性的癌癥病例,而不是真實的患者數據來進行。而此前IBM的高管一再告訴客戶:“Watson for Oncology的建議是基于真實的患者數據,全世界的醫(yī)生都喜歡這種工具”。
這讓外界對Watson的有效性進一步產生了質疑。佛羅里達州的朱庇特醫(yī)院就是憤憤不滿的客戶之一。在這份IBM的機密文件中,朱庇特醫(yī)院的一位醫(yī)生憤怒的說:“這玩意簡直就是一坨翔!我們買Watson來,是因為它的營銷搞的很厲害,讓我們覺得能靠它來實現(xiàn)一些愿景。結果買來之后呢?這玩意什么都做不了!”
事件曝光后,朱庇特醫(yī)院的腫瘤科醫(yī)生Sujal Shah表示,只有當朱庇特醫(yī)院的醫(yī)生們對兩種不同的治療方案無法達成一致的時候,醫(yī)生們才會看看Watson站哪邊——現(xiàn)在5:5平,Watson你來投個票吧。
STAT此前的一項調查顯示,Watson for Oncology其實沒有達到IBM的預期,而這次曝光的文件表明,IBM的高管們知道自家產品給出的治療建議與國家治療指南相沖突,以及醫(yī)生認為這套系統(tǒng)作用不大。
當然,一直以來IBM高管都對Watson贊譽有加。
被曝光的文件中還顯示,有幾位IBM員工對Norden直言,Watson這套產品的能力“非常有限”。
在給STAT的聲明中,IBM表示已經根據客戶反饋、新的科學進展、新的癌癥治療方案等,學習和改進了Watson Health。
令人擔憂的是,這個被爆出會開錯致命藥的醫(yī)療AI,已經投入使用,被不少醫(yī)院運用在對真實病人的診斷治療中。
IBM發(fā)言人說,Watson腫瘤系統(tǒng)受過訓練,可幫助腫瘤科醫(yī)生治療13種癌癥,并被全球230家醫(yī)院使用,“支持超過84000名患者的護理”。而230家醫(yī)院中,至少有67家中國醫(yī)院(截至2018年7月5日)。
IBM代理商百洋董事長付鋼在去年10月表示:“目前,Watson for Oncology的服務多為患者自付費,平均每人5000元左右。”
參與訓練Watson的紀念斯隆-凱特琳癌癥中心回應此事稱:“雖然Watson腫瘤系統(tǒng)提供安全的治療選擇,但治療決策最終需要主治醫(yī)生的參與和臨床判斷,沒有任何技術可以取代醫(yī)生的工作,也沒有任何技術可以取代醫(yī)生對自己病人的了解?!?/p>