一樁全球 IT 災(zāi)難級(jí)事件,讓不少微軟員工大為惱火:明明不是微軟的 " 鍋 ",鋪天蓋地的各種報(bào)道卻都是 " 微軟藍(lán)屏 "。
7 月 19 日,全球約 850 萬臺(tái)裝有 Windows 操作系統(tǒng)的計(jì)算機(jī)出現(xiàn) " 藍(lán)屏 " 死機(jī)現(xiàn)象,出現(xiàn)故障的終端并不限于桌面終端,還覆蓋了大量的服務(wù)器和云節(jié)點(diǎn),包括導(dǎo)致了多個(gè)重要的微軟和 AWS 的云服務(wù)和租戶服務(wù)中斷,而且相關(guān)主機(jī)重新啟動(dòng)后依然會(huì)自動(dòng)進(jìn)入藍(lán)屏狀態(tài),形成了反復(fù)崩潰閉環(huán)。
據(jù)不完全統(tǒng)計(jì),至少 20 多個(gè)國(guó)家在內(nèi),包括醫(yī)院、銀行、航空公司等大量社會(huì)基礎(chǔ)設(shè)施一度停擺,造成的直接和間接經(jīng)濟(jì)損失以十億美元計(jì)算。
本次事件帶來的后果影響遠(yuǎn)遠(yuǎn)超過了 2007 年賽門鐵客誤殺中文版 Windows 導(dǎo)致的系統(tǒng)藍(lán)屏事件,直追 2017 年的勒索病毒 WannaCry,在歷史上注定要留下濃墨重彩的一筆。
而導(dǎo)致這一歷史事件的主角,是一家大多數(shù)人并不熟悉的美國(guó)網(wǎng)絡(luò)安全企業(yè)—— CrowdStrike。
但其重要程度,絲毫不亞于任何一家海外互聯(lián)網(wǎng)巨頭企業(yè)。據(jù)報(bào)道,美國(guó)總統(tǒng)拜登專門聽取了關(guān)于本次事件的詳細(xì)匯報(bào),美國(guó)眾議院國(guó)土安全委員會(huì)還要求 CrowdStrike 公司 CEO 喬治 · 庫(kù)爾茨(George Kurtz)前往國(guó)會(huì),就這一重大 IT 事故作證。
事故發(fā)生之后,盡管微軟和 CrowdStrike 用小時(shí)級(jí)的響應(yīng)速度,先后發(fā)布公告和更新,試圖修復(fù)這一問題,但是行業(yè)并不十分買賬。
一方面,客戶對(duì)于 CrowdStrike 的后續(xù)處理并不滿意,喬治 · 庫(kù)爾茨的態(tài)度傲慢,CrowdStrike 的處理方式簡(jiǎn)單粗暴,事故恢復(fù)效率不高。CrowdStrike 給用戶發(fā)放 10 美元的 UberEats 外賣代金券作為補(bǔ)償,還不是每位用戶都有。企業(yè)客戶已經(jīng)在考慮替換甚至起訴 CrowdStrike,馬斯克就直言,將在特斯拉所有系統(tǒng)中刪除 CrowdStrike。
另一方面,行業(yè)更關(guān)注的是,為何一家安全公司居然能輕易導(dǎo)致如此嚴(yán)重的后果,微軟的安全審查機(jī)制為何不起作用,以及網(wǎng)絡(luò)安全行業(yè)該如何自查自醒。
并非軟件升級(jí),而是 " 規(guī)則更新 "
洞悉本次事件的原因,首先要清楚 CrowdStrike 的工作機(jī)制,以及微軟和 CrowdStrike 的合作模式。
2011 年,兩位傳統(tǒng)殺毒軟件企業(yè) McAfee 的高管發(fā)起創(chuàng)立 CrowdStrike,喬治 · 庫(kù)爾茨在創(chuàng)立 CrowdStrike 之前曾擔(dān)任 McAfee 公司的 CTO。
CrowdStrike 核心產(chǎn)品 Falcon 開啟了多租戶、云原生、智能安全解決方案的先河,憑借技術(shù)、體驗(yàn)、服務(wù)等優(yōu)勢(shì)(也憑借其和美政府良好的關(guān)系),迅速領(lǐng)先于同領(lǐng)域企業(yè),并曾較長(zhǎng)時(shí)間內(nèi)是諸多網(wǎng)絡(luò)安全上市企業(yè)中,市值最高的公司之一。
青藤云安全 CEO 張福對(duì)鈦媒體 App 表示,CrowdStrike 優(yōu)勢(shì)主要有三點(diǎn),SaaS 化、輕量級(jí)和威脅情報(bào),三者相輔相成。
SaaS 化使得 CrowdStrike 覆蓋大量客戶,收集大量數(shù)據(jù)形成足夠豐富的威脅情報(bào),一家企業(yè)遇到的問題可以為其他企業(yè)提供預(yù)警;威脅情報(bào)越強(qiáng)大,就越能識(shí)別各種病毒變種,實(shí)現(xiàn)輕量級(jí)的功能,無需像傳統(tǒng)終端安全軟件對(duì)系統(tǒng)做深層次的改動(dòng);更加輕量級(jí)的模式又能帶來更好的客戶體驗(yàn),形成正向循環(huán)。
安天科技集團(tuán)高級(jí)副總裁、安天云安全公司負(fù)責(zé)人王小豐也表示,CrowdStrike 基于云的安全托管服務(wù)和支撐其 Falcon 產(chǎn)品后面的威脅獵殺工程師,是其核心優(yōu)勢(shì)之一,也正是 CrowdStrike 導(dǎo)致本次事件的原因。
CrowdStrike 直譯為 " 聯(lián)合打擊 ",部分代表了其理念和商業(yè)模式。CrowdStrike 的威脅獵殺工程師會(huì)根據(jù)云平臺(tái)監(jiān)測(cè)到的線索,比較頻繁地更新和分發(fā)威脅數(shù)據(jù)的檢測(cè) / 采集配置規(guī)則,所以導(dǎo)致本次事件的更新內(nèi)容,并不是公眾以及部分業(yè)內(nèi)人士誤解的 " 軟件更新 ",而是模塊、主防點(diǎn)和相關(guān)配置定義的混合升級(jí)。
根據(jù) CrowdStrike 給出的解釋,程序在增加處理新觀察到的利用命名管道進(jìn)行 C&C 通信的惡意代碼活動(dòng)時(shí),更新相應(yīng)的配置文件("C-00000291-" 開頭的文件)觸發(fā)了一個(gè)代碼中的邏輯錯(cuò)誤,在內(nèi)核態(tài)形成非法內(nèi)存訪問觸發(fā)操作 Windows 系統(tǒng)藍(lán)屏。
也即是說,CrowdStrike 每天都要更新多次威脅情報(bào)的規(guī)則,由于不是軟件版本的更新,所以顯得有些 " 隨意 ",而規(guī)則更新導(dǎo)致了連鎖反應(yīng),最終造成微軟 Windows 操作系統(tǒng)崩潰。至于規(guī)則更新如何作用于 Windows,微軟和 CrowdStrike 暫未給出原因。
對(duì)于微軟和 CrowdStrike 的合作機(jī)制,微軟發(fā)言人在接受媒體采訪時(shí)表示,2009 年微軟與歐盟達(dá)成協(xié)議。根據(jù)該協(xié)議要求,微軟承諾給予所有安全軟件與微軟自身軟件相同的 Windows 內(nèi)核訪問權(quán)限,使得像 CrowdStrike 這樣的第三方安全軟件開發(fā)商的安全產(chǎn)品,可通過 Windows 客戶端和服務(wù)器系統(tǒng)中的 API,訪問并執(zhí)行極其復(fù)雜的操作。
微軟認(rèn)為,這一政策的代價(jià)是系統(tǒng)安全性降低,藍(lán)屏死機(jī)事件正是這一政策后果的體現(xiàn)。微軟發(fā)言人抱怨稱," 盡管公司希望能夠進(jìn)一步鎖定操作系統(tǒng)以提高安全性,但歐盟的要求使得這一目標(biāo)難以實(shí)現(xiàn)。"
騰訊安全 iOA 產(chǎn)品運(yùn)營(yíng)總監(jiān) Raymond 提到, CrowdStrike 目前提供的信息上主要是解釋藍(lán)屏原因,但沒有解釋 " 為什么沒監(jiān)測(cè)到引發(fā)藍(lán)屏的錯(cuò)誤更新 "。并且由于缺乏細(xì)節(jié),目前沒有明確信息能回答 CrowdStrike 為什么沒有提前發(fā)現(xiàn)這個(gè)錯(cuò)誤。
微軟 Windows 生態(tài)機(jī)制較為開放,所有軟件都可以隨時(shí)、獨(dú)立自行提供版本更新、二進(jìn)制更新、策略模塊更新等機(jī)制,每次發(fā)布的更新也并不需要微軟審核后才能發(fā)布。因此在微軟的視角上看,CrowdStrike 是一款可信的安全軟件,其內(nèi)核驅(qū)動(dòng) csAgent.sys 存在可信簽名允許在 Windows 系統(tǒng)加載,也就難以發(fā)現(xiàn)其策略更新引發(fā)的 csAgent.sys 邏輯錯(cuò)誤而導(dǎo)致藍(lán)屏。
CrowdStrike 的 " 傲慢與偏見 "
事故之前發(fā)生的 CrowdStrike,財(cái)務(wù)指標(biāo)異常優(yōu)秀,市值也近千億美元。在本次 " 藍(lán)屏 " 事件發(fā)生前,CrowdStrike 已經(jīng)出現(xiàn) " 傲慢 " 和 " 遲緩 " 的苗頭。
過去數(shù)月,CrowdStrike 出現(xiàn)多起穩(wěn)定性事故,顯得響應(yīng)遲緩、店大欺客。例如今年 4 月份 CrowdStrike 的防病毒更新導(dǎo)致一家公民技術(shù)實(shí)驗(yàn)室的所有 Debian Linux 服務(wù)器全部崩潰并無法啟動(dòng),類似的問題也出現(xiàn)在 Rocky Linux 系統(tǒng),均是因?yàn)?CrowdStrike 在不同操作系統(tǒng)上的兼容性測(cè)試不足。
本次 " 藍(lán)屏 " 事件發(fā)生之后,CrowdStrike 的應(yīng)對(duì)依舊不盡如人意。王小豐提到,CrowdStrike 后續(xù)的聯(lián)動(dòng)處理不夠合格,例如,處置方式的發(fā)布需要通過了用戶認(rèn)證登錄其網(wǎng)站上才能看到,說明其還是擔(dān)心事件影響擴(kuò)散,大量用戶在當(dāng)時(shí)所有主機(jī)已經(jīng)藍(lán)屏停擺,根本不具備登錄其網(wǎng)站查看信息的條件。
" 令我們特別費(fèi)解的是,其提供的處置方式進(jìn)入在安全模式后,手工進(jìn)行的文件查找和刪除,由于這一事件必須要網(wǎng)管和用戶逐一機(jī)器處理,這就使相關(guān)操作要消耗掉很多時(shí)間,而相關(guān)處理可以快速簡(jiǎn)單地封裝成一個(gè) GUI 或行命令工具,幫助用戶節(jié)省時(shí)間,但 CrowdStrike 卻一直沒有做,因此我們才在事件的幾個(gè)小時(shí)之后寫了一個(gè) GUI 的小工具。" 王小豐如是說。
張福表示,CrowdStrike 在 Windows 上覆蓋率很高,Linux 和 mac 上覆蓋的很少,結(jié)合 CrowdStrike 公布的客戶數(shù)量和去年 30 億美金的營(yíng)收可以推算,其在全球裝機(jī)量不超過 2000 萬臺(tái) PC。
850 萬臺(tái)機(jī)器藍(lán)屏,是因?yàn)?CrowdStrike 推送規(guī)則更新的時(shí)候,正好有這么多的電腦在線,考慮到全球時(shí)區(qū)不同,如果有更多電腦在線,本次事件的影響只會(huì)更大,CrowdStrike 根本沒有設(shè)定相應(yīng)的反饋機(jī)制,一推送就是全量。
全球范圍內(nèi),中國(guó)企業(yè)受到本次事件的影響較少,奇安信預(yù)估,國(guó)內(nèi)的 CrowdStrike 軟件裝機(jī)量在萬級(jí),相關(guān)單位數(shù)在百級(jí),用戶主要集中在北上廣深等發(fā)達(dá)地區(qū)。受影響的主要是外企、外企在華分支機(jī)構(gòu)及合資企業(yè),大量這類機(jī)構(gòu)中招,有反饋某個(gè)在華外企大量終端中的 40% 崩潰。
這是因?yàn)?CrowdStrike 對(duì)中國(guó)大陸禁售,而且并不是近年來中美關(guān)系緊張之后的事,CrowdStrike 對(duì)中國(guó)早有偏見??陀^地說,CrowdStrike 是一家典型美國(guó)政治生態(tài)下的 " 旋轉(zhuǎn)門 " 企業(yè),即公職人員在政府機(jī)構(gòu)與私營(yíng)組織之間來回任職。
王小豐表示,從創(chuàng)立之初至今,CrowdStrike 高管團(tuán)隊(duì)中有大量原聯(lián)邦調(diào)查局(FBI)及軍方官員,他們?cè)谡温毱陂g曾參與了高層網(wǎng)絡(luò)政策制定、網(wǎng)絡(luò)力量以及網(wǎng)絡(luò)活動(dòng)溯源等活動(dòng),可為該公司與美政府的深入合作鋪路。
CrowdStrike 現(xiàn)為美國(guó)聯(lián)邦政府、美國(guó)國(guó)防部等機(jī)構(gòu)的主要安全供應(yīng)商之一,是美國(guó)土安全部網(wǎng)絡(luò)安全與基礎(chǔ)設(shè)施安全局(CISA)組織的聯(lián)合網(wǎng)絡(luò)防御合作計(jì)劃(JCDC)首批成員,是美國(guó)防部受控非機(jī)密信息(CUI)最高授權(quán)級(jí)別 IL5 供應(yīng)商,這項(xiàng)授權(quán)允許美國(guó)防部、情報(bào)界和其他聯(lián)邦機(jī)構(gòu)部署 CrowdStrike 產(chǎn)品保護(hù)最關(guān)鍵的非機(jī)密資產(chǎn),構(gòu)建零信任架構(gòu)。
從資本方面來看,CrowdStrike 也是在美政府背景資本扶植下成長(zhǎng)起來的。CrowdStrike 從 2011 年成立到 2019 年 6 月在納斯達(dá)克上市,華平投資集團(tuán)(Warburg Pincus)一直是最大股東,參與了多輪融資。投資 CrowdStrike 決策期間時(shí)任華平投資集團(tuán)董事長(zhǎng)曾擔(dān)任美財(cái)政部長(zhǎng),極力污蔑 " 中國(guó)竊取美國(guó)知識(shí)產(chǎn)權(quán) "。
CrowdStrike 擁有先進(jìn)的威脅情報(bào)、事件響應(yīng)和持續(xù)監(jiān)控能力,這些能力對(duì)于美全球推行 " 向前防御 "(Defend Forward)行動(dòng)至關(guān)重要。CrowdStrike 服務(wù)于美霸權(quán)戰(zhàn)略。其創(chuàng)始人、前首席技術(shù)官德米特里 · 阿爾佩羅維奇(Dmitri Alperovitch)更曾長(zhǎng)期從事針對(duì)中國(guó)的 " 網(wǎng)絡(luò)調(diào)查 "CrowdStrike 多次發(fā)布在網(wǎng)絡(luò)安全問題上抹黑中國(guó)的分析報(bào)告,是美方構(gòu)陷抹黑中國(guó)的急先鋒廠商。
" 盡管 CrowdStrike 曾反復(fù)參與抹黑中國(guó)的活動(dòng),在面對(duì)本次重大全球事件中也顯示出冷漠和傲慢,這都讓我們對(duì)其有很大的反感。但我們必須客觀承認(rèn),CrowdStrike 擁有超強(qiáng)的產(chǎn)品研發(fā)和運(yùn)營(yíng)服務(wù)實(shí)力,依然是國(guó)際最優(yōu)秀的安全企業(yè)之一。對(duì)于 CrowdStrike 彰顯的出的技術(shù)實(shí)力和運(yùn)行模式等,我國(guó)的網(wǎng)絡(luò)安全產(chǎn)業(yè)界需要對(duì)其研究、對(duì)標(biāo)、及超越,強(qiáng)化我們自己的先進(jìn)系統(tǒng)側(cè)安全能力和威脅對(duì)抗運(yùn)營(yíng)體系。" 王小豐說道。
國(guó)內(nèi)安全行業(yè)應(yīng)該學(xué)到什么?
在中國(guó)市場(chǎng),國(guó)內(nèi)主要相關(guān)外資企業(yè)、部分使用微軟數(shù)據(jù)中心的企業(yè)、還有一部分為國(guó)外用戶作外包的軟件公司(因境外客戶對(duì)供應(yīng)鏈的統(tǒng)一安全要求),會(huì)使用 Falcon,而這些廠商也已經(jīng)開始做兩手準(zhǔn)備。
國(guó)內(nèi)的另外一些外資企業(yè),出于價(jià)格的原因相當(dāng)一部分會(huì)選擇其他美國(guó)廠商(如 Palo Alto Network)的替代產(chǎn)品 XDR,故國(guó)內(nèi)影響范圍比較小。據(jù)悉,CrowdStrike 的產(chǎn)品價(jià)格在去年翻了三倍。
張福提到,短期內(nèi)一批客戶已經(jīng)在準(zhǔn)備替換 CrowdStrike,另外微軟有自己的終端安全產(chǎn)品(Microsoft Defender for Endpoint),和 CrowdStrike 是完全競(jìng)爭(zhēng)關(guān)系,CrowdStrike 最大的對(duì)手可能是微軟自己,企業(yè)客戶對(duì)微軟的可靠性和兼容性的認(rèn)可要更高一些。
王小豐也表示,Windows 自切換到 NT 架構(gòu)后,微軟兼并了多個(gè)安全公司,組建了可信計(jì)算和應(yīng)急響應(yīng)部門,一直在將操作系統(tǒng)的安全能力內(nèi)置化,同時(shí)微軟也在應(yīng)對(duì)安全問題上界定自己的合理邊界,至少微軟很難去解決其他 OS 場(chǎng)景的安全問題,如 Linux、Android 等。
" 這里涉及到技術(shù)能力,涉及到基礎(chǔ)信息產(chǎn)品廠商和安全廠商的分工問題。但微軟自身安全能力的強(qiáng)化、生態(tài)的構(gòu)建,是非常值得我國(guó)操作系統(tǒng)廠商對(duì)標(biāo)學(xué)習(xí)的。" 他說。
Raymond 表示,本次事件凸顯了當(dāng)前全球 IT 系統(tǒng)的脆弱性風(fēng)險(xiǎn),主要包括大型機(jī)構(gòu)對(duì)單一供應(yīng)商高依賴的脆弱性、Windows 系統(tǒng)自身的脆弱性、網(wǎng)絡(luò)安全產(chǎn)品架構(gòu)的脆弱性。
企業(yè)和機(jī)構(gòu)應(yīng)通過構(gòu)建多種操作系統(tǒng)服務(wù)器資源、多地部署業(yè)務(wù)等方式,保障在應(yīng)急時(shí)能快速恢復(fù);同時(shí)應(yīng)要求供應(yīng)商提供的產(chǎn)品具備灰度更新的機(jī)制,任何變更類操作均限制在企業(yè)和機(jī)構(gòu)內(nèi)部是逐步覆蓋;
他也認(rèn)為,本次藍(lán)屏雖然主因是 CrowdStrike 軟件內(nèi)核驅(qū)動(dòng)更新引發(fā),但微軟作為 Windows 操作系統(tǒng)開發(fā)方,可以提供更健壯的 windows 系統(tǒng)保護(hù)機(jī)制。比如在藍(lán)屏反復(fù)出現(xiàn)場(chǎng)景下,能自動(dòng)屏蔽引發(fā)藍(lán)屏的根源模塊,保障系統(tǒng)能正常運(yùn)行;安全廠商應(yīng)考慮在產(chǎn)品架構(gòu)模式上進(jìn)行調(diào)整,減少在內(nèi)核層的工作邏輯占比,從而降低藍(lán)屏等嚴(yán)重故障的風(fēng)險(xiǎn)。
在本次微軟藍(lán)屏事件中,國(guó)內(nèi)安全行業(yè)也在反思己身,CrowdStrike 所暴露的問題,國(guó)內(nèi)安全行業(yè)也普遍存在,不過由于獨(dú)立部署等原因,并沒有引起大規(guī)模的 IT 故障。
一位行業(yè)專家表示," 國(guó)內(nèi)終端安全產(chǎn)品能力參差不齊,多數(shù)產(chǎn)品在海量終端管理運(yùn)營(yíng)結(jié)構(gòu)、內(nèi)核態(tài)的檢測(cè)技術(shù)、自主的惡意代碼檢測(cè)引擎技術(shù)、敏捷運(yùn)營(yíng)和規(guī)則體系方面,不僅和 CrowdStrike 差距很大,也不及 CrowdStrike 的主要國(guó)際競(jìng)品。"
近年來國(guó)內(nèi)安全行業(yè)陷入行業(yè)發(fā)展的調(diào)整期,行業(yè)的沉疴舊疾也得到了大家的重視和討論。
王小豐認(rèn)為,國(guó)內(nèi)需求場(chǎng)景、和品類賽道高度碎片化、對(duì)客群關(guān)系依賴嚴(yán)重,反過來導(dǎo)致研發(fā)投入耐心不夠、炒作概念包裝潛源創(chuàng)新。規(guī)模性安全企業(yè)由于基本都是品類橫向生長(zhǎng)的結(jié)果,難以達(dá)成科技行業(yè)必須的邊際成本遞減效應(yīng)。這些都是國(guó)內(nèi)企業(yè)必須直面的現(xiàn)狀。
張福表示," 國(guó)內(nèi)安全行業(yè)陷入到低效內(nèi)卷的價(jià)格戰(zhàn),以投標(biāo)為例,對(duì)參數(shù)的細(xì)節(jié)和復(fù)雜要求已經(jīng)超過應(yīng)有的水平,各個(gè)廠商為了在測(cè)試上有優(yōu)勢(shì),往里面塞大量的沒什么意義的指標(biāo)。"
他還提到,最低價(jià)中標(biāo)導(dǎo)致廠商缺乏合理利潤(rùn),研發(fā)資源投入不足,產(chǎn)品質(zhì)量和服務(wù)無法滿足客戶需求。廠商追求低價(jià)中標(biāo)后,忽視后續(xù)技術(shù)支持和升級(jí),造成惡性循環(huán)。
" 海外頭部廠商的安全產(chǎn)品不超過 20 個(gè),國(guó)內(nèi)頭部廠商的產(chǎn)品超過 200 個(gè),大家變著花創(chuàng)造概念、發(fā)布新產(chǎn)品,但這些產(chǎn)品其實(shí)價(jià)值很低,也沒有什么太大的作用。國(guó)內(nèi)廠商營(yíng)收要做大就要不斷發(fā)布新產(chǎn)品,市場(chǎng)產(chǎn)品碎片化嚴(yán)重,過度依賴新品開發(fā)而非提升產(chǎn)品質(zhì)量和效率,導(dǎo)致內(nèi)部成本高并最終轉(zhuǎn)嫁給客戶,雙方利益都會(huì)受損。" 張福說。
張福感慨道," 現(xiàn)在做安全的代價(jià)是非常高的,效率是很低的。但是,沒有哪個(gè)產(chǎn)業(yè)會(huì)拒絕生產(chǎn)力的進(jìn)步,隨著時(shí)代的發(fā)展,尤其是中國(guó)網(wǎng)安行業(yè)有大量?jī)?yōu)秀的年輕人涌入,他們會(huì)推動(dòng)行業(yè)往正確的方向走,也許不久的將來我們就會(huì)達(dá)到和美國(guó)網(wǎng)絡(luò)安全行業(yè)一樣的水平。"