DeepMind進(jìn)軍數(shù)字醫(yī)療服務(wù)領(lǐng)域的努力仍令人擔(dān)憂。最近的擔(dān)憂是由谷歌旗下的人工智能公司任命的一個(gè)外部審查人員組成的小組所帶來(lái),該小組就DeepMind與英國(guó)國(guó)家醫(yī)療服務(wù)(NHS)進(jìn)行初步數(shù)據(jù)共享進(jìn)行報(bào)告。這使得DeepMind引發(fā)了一場(chǎng)重大公眾爭(zhēng)議。
2018年DeepMind Health獨(dú)立評(píng)論者報(bào)告(The DeepMind Health Independent Reviewers’2018 report)標(biāo)志了一系列風(fēng)險(xiǎn)和擔(dān)憂,在他們看來(lái),這包括DeepMind健康能夠“發(fā)揮過(guò)度的壟斷力量”,這是基于數(shù)據(jù)訪問(wèn)和與Streams應(yīng)用程序規(guī)則綁定的流媒體基礎(chǔ)設(shè)施所帶來(lái)的結(jié)果。這將DeepMind定位為結(jié)構(gòu)化健康數(shù)據(jù)以及任何其他第三方之間的訪問(wèn)控制中介,這些第三方可能在未來(lái)希望向Trust提供其數(shù)字幫助解決方案。
雖然DeepMind的Streams應(yīng)用部署的基礎(chǔ)FHIR(fast healthcare interoperability resource,又名快速醫(yī)療互操作性資源)使用開放式API,但該公司與Royal Free Trust之間的合同通過(guò)DeepMind自己的服務(wù)器連接,并禁止連接到其他FHIR服務(wù)器。這個(gè)商業(yè)結(jié)構(gòu)似乎與DeepMind的共同創(chuàng)始人穆斯塔法蘇萊曼(Mustafa Suleyman)聲稱支持的開放性和互操作性言論相悖。
“IT領(lǐng)域有很多例子,公司將客戶鎖定在難以改變或替換的系統(tǒng)中。這樣的安排不符合公眾的利益。我們不希望看到DeepMind Health將自己置于這樣的位置,即醫(yī)院等客戶發(fā)現(xiàn)自己被迫與DeepMind Health保持聯(lián)系,即使這已經(jīng)不再是經(jīng)濟(jì)上或臨床上明智的做法。我們希望DeepMind Health能夠在質(zhì)量和價(jià)格上進(jìn)行競(jìng)爭(zhēng),而不是通過(guò)鞏固遺留的立場(chǎng)來(lái)進(jìn)行競(jìng)爭(zhēng)“,一位評(píng)論員寫到。
盡管他們指出DeepMind“對(duì)系統(tǒng)互操作性的陳述承諾”以及“采用FHIR開放API”是一種積極的指示,但同時(shí)“這意味著其他許多中小企業(yè)有可能參與其中,創(chuàng)造多樣化和創(chuàng)新的市場(chǎng),為消費(fèi)者,創(chuàng)新和經(jīng)濟(jì)服務(wù)?!?/p>
“我們還注意到DeepMind Health公司打算將Streams的許多功能作為可輕松交換的模塊來(lái)實(shí)施,這意味著其將不得不依靠最好的方式來(lái)維持業(yè)務(wù)。”他們補(bǔ)充道。
然而,陳述的意圖和未來(lái)潛力顯然與實(shí)際情況不一樣。而且,就目前而言,技術(shù)上可互操作的應(yīng)用交付基礎(chǔ)設(shè)施正受到商業(yè)合同中禁止性條款的約束,以及缺乏針對(duì)此類行為的監(jiān)管阻力。
評(píng)論者還對(duì)DeepMind Health的商業(yè)模式持續(xù)缺乏明確性表示擔(dān)憂,“鑒于目前的環(huán)境,DeepMind Health的商業(yè)模式并不清楚,人們很可能會(huì)懷疑有一個(gè)未公開的利潤(rùn)動(dòng)機(jī)或隱藏的議程。我們并不認(rèn)為這是事實(shí),但會(huì)敦促DeepMind Health對(duì)其商業(yè)模式保持透明,并且堅(jiān)持這一點(diǎn)的能力不會(huì)被Alphabet忽略。一旦隱藏議程的想法在人們的頭腦中固定下來(lái),無(wú)論公司的動(dòng)機(jī)如何,公共利益都很難轉(zhuǎn)變?!?/p>
“我們已經(jīng)就DeepMind Health在這一領(lǐng)域發(fā)展的想法進(jìn)行了詳細(xì)對(duì)話,并且知道其中一些問(wèn)題還沒有最終確定。然而,我們敦促DeepMind Health公開提出他們提出的建議,“他們補(bǔ)充道。
DeepMind提出其想要建立能夠按結(jié)果收費(fèi)的醫(yī)療保健認(rèn)證。但Streams不涉及任何AI。這項(xiàng)服務(wù)也是免費(fèi)提供給NHS Trusts的,至少在頭五年。這就提出了Google旗下的的公司如何收回投資的問(wèn)題。
谷歌當(dāng)然可以通過(guò)一系列免費(fèi)使用的消費(fèi)類產(chǎn)品(如Android手機(jī)操作系統(tǒng))進(jìn)行貨幣化,這其中還有云電子郵件服務(wù)Gmail以及YouTube視頻共享平臺(tái),此類產(chǎn)品收集用戶的個(gè)人數(shù)據(jù)并將信息提供給廣告定位平臺(tái)。
因此,評(píng)論員建議DeepMind對(duì)其商業(yè)模式進(jìn)行思考與闡述,以避免人們對(duì)其醫(yī)療數(shù)據(jù)背后的意圖產(chǎn)生質(zhì)疑。
如果允許DeepMind在數(shù)字醫(yī)療保健服務(wù)提供商中占據(jù)支配地位,該公司的歷史作風(fēng)也顯露出了潛在的壟斷風(fēng)險(xiǎn)—考慮到其母公司如何有效地將免費(fèi)原始設(shè)備制造商移動(dòng)操作系統(tǒng)(Android)變?yōu)槿蚧鲗?dǎo)的智能手機(jī)操作系統(tǒng)。
因此,盡管DeepMind在這個(gè)階段與NHS Trusts簽訂了少量合同,但審查人員對(duì)公司獲得“過(guò)度壟斷權(quán)”風(fēng)險(xiǎn)的擔(dān)憂似乎并不顯得過(guò)分。
他們還對(duì)DeepMind與其母公司Alphabet的工作合作方式所呈現(xiàn)出的模糊性表示擔(dān)憂,哪些數(shù)據(jù)可以被傳輸給廣告巨頭也不甚明朗——當(dāng)數(shù)據(jù)信息被用于廣告并與DeepMind處理的個(gè)人醫(yī)療記錄相疊加時(shí),這是一種不可避免卻令人不安的組合。
“DeepMind Health能夠在多大程度上將自己與Alphabet保持相對(duì)獨(dú)立,引導(dǎo)其未來(lái)避免做一些它今天承諾不會(huì)做的事情?或者,如果DeepMind Health目前的管理層離開DeepMind Health,那么新任CEO能夠在多少程度上改變今天已經(jīng)達(dá)成的協(xié)議?”他們寫道。
“我們贊賞DeepMind Health將繼續(xù)受法律和監(jiān)管框架的約束,但我們的大部分注意力都集中在DeepMind Health采取的步驟上,站在比法律要求更為合乎道德的立場(chǎng)之上,這一切都可以結(jié)束了嗎?我們鼓勵(lì)DeepMind Health以更強(qiáng)大的方式加強(qiáng)與Alphabet和DeepMind的分離,從而使其能夠?qū)ζ渥鞒龅某兄Z保持持久的力量?!?/p>
在回應(yīng)中,DeepMind寫道“正在制定我們的長(zhǎng)期業(yè)務(wù)模式和路線圖”。
“我們的首要任務(wù)就是證明我們的技術(shù)可以幫助改善患者護(hù)理質(zhì)量并降低成本,而不是為我們?cè)缙陔A段的收費(fèi)。我們相信,我們的業(yè)務(wù)模式應(yīng)該來(lái)自我們創(chuàng)造的積極影響,并將繼續(xù)探索基于結(jié)果的要素,以便成本至少部分與我們提供的收益相關(guān)。”DeepMind繼續(xù)表示。
因此,除了開展一些公共關(guān)系的節(jié)目之外,并沒有什么可以減輕評(píng)論者對(duì)將健康數(shù)據(jù)貨幣化意圖的擔(dān)憂。
在與Alphabet的聯(lián)合中,DeepMind也很少提及,只寫道:“我們會(huì)進(jìn)一步的探索具有法律效應(yīng)的框架,去確保管理我們所有的與國(guó)民醫(yī)療服務(wù)計(jì)劃(NHS,National Health Service)的合作都合法。
“Trust公司會(huì)始終托管著健康數(shù)據(jù),”它補(bǔ)充道?!拔覀冎粫?huì)根據(jù)和合作者約定的合同去使用患者的數(shù)據(jù),做到合法而且合規(guī)。我們將繼續(xù)與Trust公司簽署法律協(xié)議,以便審查這一重要問(wèn)題?!?/p>
“在我們與合作伙伴約定的法律協(xié)議中,沒有任何條例阻止他們與任何其他數(shù)據(jù)處理方合作,如果他們希望尋求另一個(gè)提供商的服務(wù)。”它接著回應(yīng)了我們提出的其他問(wèn)題。
“我們希望Streams能夠幫助解鎖NHS下一波的創(chuàng)新浪潮。Streams的基礎(chǔ)架構(gòu)是建立在最先進(jìn)的開放式互操作標(biāo)準(zhǔn)之上,即FHIR。在英國(guó),NHS Digital、NHS England和INTEROPen集團(tuán)應(yīng)用FHIR標(biāo)準(zhǔn)。這應(yīng)該使我們的合作伙伴相信與其他開發(fā)人員的合作是更容易的,從而幫助他們?yōu)榕R床前線帶來(lái)更多創(chuàng)新,”它向我們補(bǔ)充了一些評(píng)論。
“根據(jù)我們與相關(guān)合作伙伴Trust的合同協(xié)議,我們承諾在協(xié)議的五年內(nèi)制定FHIR API基礎(chǔ)設(shè)施?!?/p>
當(dāng)被問(wèn)及在去年公布的用于驗(yàn)證健康數(shù)據(jù)訪問(wèn)的技術(shù)審計(jì)基礎(chǔ)架構(gòu)方面取得的進(jìn)展時(shí),DeepMind重申了其博客上的措辭,稱:“我們將保持對(duì)設(shè)定盡可能高的信息治理標(biāo)準(zhǔn)的警惕。今年年初,我們?nèi)蚊艘幻毿畔⒐芾斫?jīng)理來(lái)監(jiān)督我們?cè)谒泄ぷ黝I(lǐng)域使用的數(shù)據(jù)。我們還在繼續(xù)構(gòu)建我們的可驗(yàn)證數(shù)據(jù)審計(jì)和其他工具,以清楚地展示我們?nèi)绾问褂脭?shù)據(jù)?!?/p>
因此,這一方面的發(fā)展看起來(lái)像我們預(yù)期的那樣緩慢。
這家Google旗下的英國(guó)人工智能公司于2015年開始推進(jìn)數(shù)字醫(yī)療服務(wù),與倫敦的NHS Trust悄悄簽署信息共享協(xié)議,為其提供了大約160萬(wàn)人的醫(yī)療記錄,用于開發(fā)病情警報(bào)應(yīng)用程序,該程序被稱為“急性腎損傷”。
其還與Trust簽署了一份合作備忘錄,雙方表示了將AI應(yīng)用于NHS數(shù)據(jù)集的雄心。(他們甚至為AI項(xiàng)目獲得了道德標(biāo)志——但一直聲稱并Royal Free數(shù)據(jù)未供應(yīng)給任何認(rèn)可機(jī)構(gòu)。)
然而,2016年5月,當(dāng)Royal Free with DeepMind透露患者數(shù)據(jù)的范圍時(shí)(通過(guò)調(diào)查性新聞而不是Trust或DeepMind的披露),數(shù)據(jù)共享合作遇到了麻煩。
160萬(wàn)人的非匿名病歷在未被告知或征得同意的情況下被轉(zhuǎn)交給Google旗下的公司,基于數(shù)據(jù)共享安排的法律依據(jù),這一問(wèn)題引發(fā)了質(zhì)疑。
去年夏天,英國(guó)的隱私監(jiān)管機(jī)構(gòu)對(duì)該項(xiàng)目進(jìn)行了調(diào)查-發(fā)現(xiàn)Royal Free NHS Trust在應(yīng)用開發(fā)過(guò)程中違反了數(shù)據(jù)保護(hù)規(guī)則。
盡管考慮到道德問(wèn)題和法規(guī),人們對(duì)數(shù)據(jù)共享的合法性保有不滿,但Streams項(xiàng)目仍在蒸蒸日上。Royal Free Trust繼續(xù)將該應(yīng)用程序提供給醫(yī)院臨床醫(yī)生使用,而DeepMind還簽署了幾項(xiàng)額外的合同,將Streams部署到其他NHS Trust。
最近,法律事務(wù)所Linklaters在Trust委托下完成對(duì)Royal Free Streams項(xiàng)目的審計(jì),作為其與ICO結(jié)算的一部分。雖然這次審計(jì)僅檢查了Streams的當(dāng)前功能。(在項(xiàng)目建設(shè)和測(cè)試階段,沒有對(duì)人員病歷的合法性進(jìn)行歷史審核。)
Linklaters確實(shí)建議Royal Free通過(guò)DeepMind終止其更廣泛的合作備忘錄——而且該Trust已向我們證實(shí),它將遵循該公司的建議。
“審計(jì)建議我們終止與DeepMind達(dá)成的歷史性合作備忘錄,該備忘錄于2016年1月簽署。合作備忘錄與合作關(guān)系不再相關(guān),我們正在終止合作關(guān)系,”Royal Free發(fā)言人告訴我們。
因此,DeepMind可能是世界上最著名的人工智能公司,它正處于參與向英國(guó)醫(yī)院提供數(shù)字醫(yī)療服務(wù)的奇怪位置,這些醫(yī)院實(shí)際上并不涉及任何人工智能。(盡管醫(yī)院也有一些與NHS Trusts進(jìn)行的AI研究項(xiàng)目。)
2016年年中,在Royal Free DeepMind數(shù)據(jù)丑聞的高峰期中,為了爭(zhēng)取更多的公眾信任,該公司任命了外部審查小組,他們現(xiàn)在已經(jīng)編寫了第二份報(bào)告,研究該部門的運(yùn)作情況。
公平地說(shuō),科技行業(yè)發(fā)生了很多事情,因?yàn)閷<医M被指定為進(jìn)一步破壞公眾對(duì)技術(shù)平臺(tái)和算法承諾的信任——包括ICO發(fā)現(xiàn)Royal Free和DeepMind之間的初始數(shù)據(jù)共享違反了了英國(guó)隱私法律。
2018報(bào)告小組的8名成員是:Martin Bromiley OBE、Elisabeth Buggins CBE、Eileen Burbidge MBE、Richard Horton、Julian Huppert博士、Donal O’Donoghue教授、Matthew Taylor和John Tooke教授。
在他們最新的報(bào)告中,外部評(píng)論員警告說(shuō),公眾對(duì)科技巨頭的看法與一年前相比有“大幅轉(zhuǎn)變”——他們斷言“數(shù)字時(shí)代的隱私問(wèn)題如果有的話,更值得關(guān)注”。
與此同時(shí),政界人士也更關(guān)注技術(shù)巨頭的成果和社會(huì)影響。
盡管英國(guó)政府也熱衷于將自己定位為AI的支持者,為該部門提供公共資金,并在其“工業(yè)戰(zhàn)略”白皮書中將AI和數(shù)據(jù)確定為四大所謂的“重大挑戰(zhàn)”之一,英國(guó)可以“在未來(lái)幾年中引領(lǐng)世界”,并專門將DeepMind作為該國(guó)引以為傲的少數(shù)領(lǐng)先的本土人工智能業(yè)務(wù)之一。
盡管如此,關(guān)于如何管理公共部門數(shù)據(jù)以及人工智能部署的問(wèn)題,特別是在醫(yī)療保健等高度敏感的領(lǐng)域,仍需要政府進(jìn)行明確解決。
與此同時(shí),即使技術(shù)人員甚至不涉及任何人工智能,數(shù)字技術(shù)正在進(jìn)入醫(yī)療保健領(lǐng)域。這種趨勢(shì)帶來(lái)了重大挑戰(zhàn),對(duì)現(xiàn)有的信息治理規(guī)則和結(jié)構(gòu)施加了壓力,并增加了壟斷的風(fēng)險(xiǎn)。
當(dāng)被問(wèn)及NHS的數(shù)字服務(wù)提供商:NHS Digital是否為NHS Trust提供任何指導(dǎo),包括醫(yī)生的數(shù)字幫助,特別是它是否需要由不同的提供者提供的多個(gè)選項(xiàng)時(shí),它將我們的問(wèn)題提交給衛(wèi)生部(DOH),并指出這是衛(wèi)生政策的問(wèn)題。
DOH反過(guò)來(lái)將問(wèn)題提交給了英格蘭國(guó)民保健局,該委員會(huì)是委員會(huì)的非部門機(jī)構(gòu),負(fù)責(zé)委托合同并確定英格蘭衛(wèi)生服務(wù)的優(yōu)先順序和方向。
在撰寫本文時(shí),我們?nèi)栽诘却?fù)責(zé)機(jī)構(gòu)的回應(yīng)。
最終,看起來(lái)衛(wèi)生服務(wù)部門將為人工智能和數(shù)字決策服務(wù)建立一個(gè)清晰和健壯的結(jié)構(gòu),通過(guò)Trust在購(gòu)買應(yīng)用程序和服務(wù)時(shí)支持多個(gè)獨(dú)立選項(xiàng)的需求,從而促進(jìn)設(shè)計(jì)競(jìng)爭(zhēng)。
沒有這種重要的制衡和平衡,風(fēng)險(xiǎn)就在于平臺(tái)動(dòng)態(tài)將快速主導(dǎo)和控制新興的數(shù)字健康援助領(lǐng)域——正如大型科技主導(dǎo)消費(fèi)者科技一樣。
但公共資助的醫(yī)療保健決策和數(shù)據(jù)集不應(yīng)該簡(jiǎn)單地交給那些愿意并且能夠消耗大部分資源來(lái)?yè)碛羞@個(gè)空間的單一市場(chǎng)主導(dǎo)實(shí)體。
一個(gè)明顯的風(fēng)險(xiǎn)是,當(dāng)數(shù)字創(chuàng)新的一個(gè)重要領(lǐng)域有可能被一個(gè)科技巨頭壟斷,并在其他人有機(jī)會(huì)展示自身、市場(chǎng)初步形成的時(shí)候,面對(duì)巨頭將自己定位為守門員的境況,政府不應(yīng)該袖手旁觀。