近日,國際權(quán)威研究機構(gòu) IDC(國際數(shù)據(jù)公司)最新發(fā)布的《中國 AI 云服務(wù)市場(2020 上半年)跟蹤》報告顯示,華為云一站式 AI 開發(fā)平臺 ModelArts 位居機器學(xué)習(xí)公有云服務(wù)中國市場份額第一位,高達 29%。
報告指出:華為在國內(nèi)市場具有先天的認知優(yōu)勢,開發(fā)者對于華為的技術(shù)、產(chǎn)品、品牌有著天然的認知和信賴。其中,華為云一站式 AI 開發(fā)平臺 ModelArts 在行業(yè)用戶中的主動提及率非常高??梢砸姷?,在 ModelArts 平臺學(xué)習(xí) AI 技術(shù)已經(jīng)成為越來越多開發(fā)者的偏愛,ModelArts 也正逐漸成為行業(yè) AI 落地的首選。
數(shù)據(jù)來源:IDC《中國 AI 云服務(wù)市場半年度研究報告,2020H1》
眾所周知,市場份額是產(chǎn)品是否好用的一個忠實反應(yīng)。對于用戶來說,「好用」的標準非常簡單,即你的產(chǎn)品到底有沒有解決我的問題?比如能否實現(xiàn)降本增效,產(chǎn)品是否安全可控等等。
作為一站式 AI 開發(fā)平臺,華為云 ModelArts 的用戶所關(guān)注的問題也在這一范疇之內(nèi)。具體來說,他們會關(guān)心:這個平臺上手門檻高不高?成本、效率高不高?我的數(shù)據(jù)隱私能得到保護嗎?我的模型我自己能把關(guān)嗎?
接下來,我們就從這些問題入手,看看市場份額第一的華為云 ModelArts 有沒有解決這些問題。
開發(fā)者和企業(yè)所看中的,
華為云 ModelArts 都滿足了嗎?
1. 門檻、成本和效率
一位從傳統(tǒng) IT 轉(zhuǎn)向 AI 軟件研發(fā)的技術(shù)總監(jiān)曾表示,在早期的研發(fā)階段,他們遇到了不少棘手的問題,比如從數(shù)據(jù)收集、處理,模型訓(xùn)練、管理到發(fā)布,AI 開發(fā)基本都處于一種「鄉(xiāng)間作坊」的工作模式。這種工作方式不僅效率低下,而且不利于新人的培養(yǎng),讓人才培訓(xùn)成本居高不下。同時,模型上線后的工作性能受物理硬件的限制,橫向擴展耗時耗力,資源利用率也無法有效保障。
這位技術(shù)總監(jiān)提到的問題主要體現(xiàn)在門檻、成本和效率幾個方面。在門檻方面,推動 AI 發(fā)展的核心四要素——算法、算力、數(shù)據(jù)和知識,每一個都存在門檻。在成本方面,傳統(tǒng)的「鄉(xiāng)間作坊」工作模式開發(fā)流程冗長,涉及的人員較多,人力、物力成本居高不下;在效率方面,這種工作模式容易重復(fù)造輪子,資源復(fù)用率低。
在種種困境下,華為云 ModelArts 走進了這些開發(fā)團隊的視野。
為什么是 ModelArts?
在自然語言處理領(lǐng)域,BERT 的問世是一個里程碑事件。它讓整個社區(qū)嘗到了「預(yù)訓(xùn)練」的甜頭:只需要簡單的遷移策略,就能讓模型在下游任務(wù)中獲得良好的性能,使該領(lǐng)域由原來的手工調(diào)參、依靠機器學(xué)習(xí)專家的階段,進入到大規(guī)模、可復(fù)制的大工業(yè)生產(chǎn)的階段。這一經(jīng)驗同樣可以復(fù)制到其他領(lǐng)域,華為云 ModelArts 的通用預(yù)訓(xùn)練模型架構(gòu)——EI-Backbone 就是這一路徑的開拓者之一。
EI-Backbone 通過整合算法模型、算力、數(shù)據(jù)和知識,可以進行模型選擇自動設(shè)計、參數(shù)配置自動調(diào)優(yōu),在分鐘級內(nèi)完成模型訓(xùn)練,無需依仗專家經(jīng)驗就能大幅提升模型精度,顯著降低 AI 使用門檻,縮短開發(fā)流程,提升開發(fā)性能。該架構(gòu)提供了一種「預(yù)訓(xùn)練模型 + 小樣本微調(diào)」的高效訓(xùn)練模式,能夠讓開發(fā)者基于行業(yè)小樣本數(shù)據(jù)訓(xùn)練高精度模型。這在醫(yī)療等優(yōu)質(zhì)數(shù)據(jù)稀缺的場景中尤其有用。以醫(yī)療影像分割為例,過去需要成百上千例標注數(shù)據(jù)才能進行的訓(xùn)練,在 EI-Backbone 的加持下,只需要幾十例甚至十幾例標注數(shù)據(jù)即可完成,節(jié)省標注成本高達 90% 以上。
效率的提升和成本的節(jié)約還體現(xiàn)在算力方面。華為全聯(lián)接大會 2020 發(fā)布的最新版華為云 ModelArts 3.0 在集群規(guī)模、任務(wù)數(shù)量以及分布式訓(xùn)練各個環(huán)節(jié)做了針對性優(yōu)化,并支持彈性訓(xùn)練。彈性訓(xùn)練指的是華為云 ModelArts 提供的兩種模式:一是 Turbo 模式,可以充分利用空閑資源加速已有訓(xùn)練作業(yè),訓(xùn)練速度可提升 10 倍以上,并且不影響模型的收斂精度;二是經(jīng)濟模式,可以通過最大化資源利用率給開發(fā)者提供極致的性價比,在大多數(shù)典型場景下可以提升性價比 30% 以上。這種降本增效的成果在實際的業(yè)務(wù)場景中是非??捎^的,無論是對 AI 開發(fā)者的低成本快速上手的需求,還是對行業(yè) AI 智能轉(zhuǎn)型升級來說,無疑都是最合適的選擇。
2. 對數(shù)據(jù)的掌控
AI 模型性能的提升離不開大量的多源數(shù)據(jù)。如果企業(yè)只用自己有限、單一來源的數(shù)據(jù)進行訓(xùn)練,得到的模型可能不夠準確,或泛化性較差。在此背景下,各個數(shù)據(jù)擁有方不可避免地要進行合作。
但與之矛盾的是,很多行業(yè)的數(shù)據(jù)涉及用戶隱私、行業(yè)機密等問題,數(shù)據(jù)擁有者不愿或不能將數(shù)據(jù)上傳至一個數(shù)據(jù)中心進行模型訓(xùn)練,從而形成了一個個的「煙囪」或「孤島」。
華為云 ModelArts 的用戶大多是這種類型,他們身處醫(yī)療、政務(wù)、金融等安全、隱私性要求極高的領(lǐng)域,因此必須對自己數(shù)據(jù)的流向進行嚴格把控,做到數(shù)據(jù)不出庫。
數(shù)據(jù)不能出庫,但模型的參數(shù)可以,這就是華為云 ModelArts 提供的聯(lián)邦學(xué)習(xí)解決思路。在華為云 ModelArts 3.0 下,用戶可以各自利用本地數(shù)據(jù)訓(xùn)練模型,不交換數(shù)據(jù)本身,只用加密方式交換更新的模型參數(shù),實現(xiàn)云邊協(xié)同訓(xùn)練。此外,華為云 ModelArts 3.0 不僅支持橫向聯(lián)邦學(xué)習(xí),處理對齊的數(shù)據(jù),還支持縱向聯(lián)邦學(xué)習(xí),可以輕松處理訓(xùn)練樣本 ID 重疊多的數(shù)據(jù)。
對于使用華為云 ModelArts 實現(xiàn)行業(yè) AI 落地的用戶來說,引入聯(lián)邦學(xué)習(xí)不僅解決了數(shù)據(jù)隱私問題,還節(jié)約了數(shù)據(jù)方面的成本。眾所周知,醫(yī)療、制藥等領(lǐng)域的數(shù)據(jù)標注難度非常大,需要領(lǐng)域?qū)<业慕槿耄虼顺杀痉浅8?。通過聯(lián)邦學(xué)習(xí),各個數(shù)據(jù)擁有方都可以在這一技術(shù)的保護下實現(xiàn)數(shù)據(jù)價值的交換,顯著降低成本。
3. 對模型的掌控
模型從實驗室走向生產(chǎn)環(huán)境是一個令人揪心的過程。開發(fā)者和企業(yè)會擔(dān)心這個模型精度不夠高、性能不夠好、可解釋性差、可信度低等問題。在這些都沒弄清楚之前,沒有人敢大規(guī)模部署這款模型。
華為云 ModelArts 的成功之處在于,它在一定程度上緩解了這種「不透明」所帶來的顧慮,將自動評估、診斷之后得到的模型精度、性能、可解釋性、可信度等信息展示在一塊「面板」上,讓用戶直觀地看到自己模型的基本情況。
而且,這種評估是非常精細的,僅精度方面就有準確率、精確率、召回率、F1 值、混淆矩陣、ROC 曲線、數(shù)據(jù)敏感度分析等多項指標。這些指標可以幫助用戶進行有針對性的調(diào)優(yōu),讓用戶做到「心中有數(shù)」,放心部署。
哪些行業(yè)已經(jīng)用上了華為云 ModelArts?
當前,華為云 ModelArts 已經(jīng)在金融、醫(yī)療、藥物研發(fā)、自動駕駛等多個領(lǐng)域得到了廣泛應(yīng)用。
在金融領(lǐng)域,華為云 ModelArts 已經(jīng)用于金融票據(jù) OCR 識別。由于金融票據(jù)格式多樣,差別細微,需要 AI 專家進行長時間的票據(jù) AI 訓(xùn)練,因此業(yè)界識別準確率普遍不夠精準。針對票據(jù)模型開發(fā)訓(xùn)練數(shù)據(jù)標注、模型訓(xùn)練、調(diào)優(yōu)和部署上的諸多難點,華為云 ModelArts 通過數(shù)據(jù)集分類、自動學(xué)習(xí)、遷移學(xué)習(xí)等方法,讓初級 AI 開發(fā)者無需調(diào)參等操作,輕松操作數(shù)據(jù)標注工具,完成部署。
在醫(yī)療領(lǐng)域,去年 11 月份,放射學(xué)領(lǐng)域國際頂級期刊《Radiology》發(fā)表了華為云 EI 創(chuàng)新孵化 lab、華中科技大學(xué)電信學(xué)院、華中科技大學(xué)同濟醫(yī)學(xué)院附屬協(xié)和醫(yī)院放射科聯(lián)合團隊的最新研究成果:運用華為云 ModelArts 開發(fā)的一套基于 CTA 影像的腦動脈瘤檢測算法。該算法靈敏度高達 97.5%,幫助醫(yī)生臨床診斷靈敏度提升約 10 個百分點,漏診率降低了 5 個百分點,同時有效縮短了醫(yī)生的診斷時間。
在藥物研發(fā)領(lǐng)域,2020 年,華為云 EI 與中國科學(xué)院上海藥物研究所簽署聯(lián)合創(chuàng)新合作協(xié)議,將華為自研的 FedAMP 算法和 AutoGenome 算法應(yīng)用到藥物研發(fā)的 AI 任務(wù)中,精準預(yù)測藥物水溶解性、心臟毒性和激酶活性。中國科學(xué)院院士、中國科學(xué)院上海藥物研究所研究員蔣華良聯(lián)合華為云發(fā)布基于 ModelArts 平臺的藥物聯(lián)邦學(xué)習(xí)服務(wù),以解決研發(fā)數(shù)據(jù)高壁壘、高成本以及高機密的問題。實踐證明,通過華為云 EI 聯(lián)邦學(xué)習(xí)訓(xùn)練后的模型,準確度遠超傳統(tǒng)的聯(lián)邦學(xué)習(xí)和深度學(xué)習(xí)算法。
回顧過去的一年,華為云 ModelArts 在抗擊疫情方面也發(fā)揮了重要作用,其參與的聯(lián)合科研團隊在 2020 年 2 月份就篩選出了五種可能有效的新冠抗病毒藥物。此外,華為云還依托 AI 昇騰集群服務(wù)和 ModelArts 推出了 AI+CT 醫(yī)學(xué)影像分析服務(wù),運用計算機視覺與醫(yī)學(xué)影像分析技術(shù)對患者肺部 CT 多發(fā)磨玻璃密度影(GGO)以及肺實變進行分割以及量化評價,并結(jié)合臨床信息和實驗室結(jié)果,輔助醫(yī)生更高效、精準地區(qū)分早期、進展期與重癥期,助力疫情防控工作。
技術(shù)賦能行業(yè)離不開一個低門檻、高效率同時又安全、可靠的工具。華為云 ModelArts 這類 AI 開發(fā)新工具的出現(xiàn)是實現(xiàn)技術(shù)普惠的重要條件,讓「學(xué) AI,用 ModelArts」成為開發(fā)者群體的新風(fēng)尚,亦將讓行業(yè) AI 落地開拓者們親手觸碰到未來。