很多年以前,企業(yè)每天都在想方設(shè)法,把手頭的數(shù)據(jù)用好。
錢來貨往,大數(shù)據(jù)和人工智能火起來之后,沉淀的數(shù)據(jù)一下子多了起來,如何管好+如何用好數(shù)據(jù),成為大多數(shù)企業(yè)的難題。
數(shù)據(jù)發(fā)揮價(jià)值是近10-20年才有的概念,這就帶出了數(shù)據(jù)治理。
數(shù)據(jù)治理,是伴隨解決“糟心問題”而生的。
在數(shù)據(jù)開發(fā)的過程中,會(huì)冒出各種“糟心事兒”,五花八門(質(zhì)量、效率、安全等方面)。
而數(shù)據(jù)治理的任務(wù)就是,對(duì)于這種“事兒”,來一個(gè)“消滅”一個(gè)。
有的問題三年五載都消除不了,那就(也)算(得)了(干)。
一直消除不了,就一直有“痛點(diǎn)”。
一般來說,數(shù)據(jù)治理研究的專家不會(huì)說得這么接地氣,而是會(huì)說:“保障數(shù)據(jù)準(zhǔn)確、全面和完整,為業(yè)務(wù)創(chuàng)造價(jià)值,同時(shí)嚴(yán)格管理數(shù)據(jù)的權(quán)限,避免數(shù)據(jù)泄露帶來的業(yè)務(wù)風(fēng)險(xiǎn)?!?/p>
高層聽了頷首,員工聽了翻白眼。
而且數(shù)據(jù)治理不“接地氣”,工作就得“接地府”。
某位大型互聯(lián)網(wǎng)科技公司的研發(fā)負(fù)責(zé)人,和公司老總一起出差的時(shí)候,抓住時(shí)機(jī),用全程航班的時(shí)間安利了一把“數(shù)據(jù)中臺(tái)”。
老總把知識(shí)點(diǎn)吸收得很好,很喜歡,把“組件化”“標(biāo)準(zhǔn)化”“不重復(fù)造輪子”都學(xué)會(huì)了,就安排研發(fā)負(fù)責(zé)人去推動(dòng)。
閉門研究了一段時(shí)間后,研發(fā)負(fù)責(zé)人就拿出一個(gè)大圖,你干這個(gè),他干那個(gè)。完全按照理想化的思路,來了個(gè)天翻地覆式的大改動(dòng),無異于重新設(shè)計(jì)。
很多管理層一看到這個(gè)“藍(lán)圖”都傻眼了,心里又氣又恨,臉上還佯裝笑容。
表面上夸創(chuàng)新,背地里和哥幾個(gè)關(guān)系好的,交換眼色,把手放在脖子上做了個(gè)橫刀一抹的動(dòng)作。
數(shù)據(jù)中臺(tái)這塊蛋糕,關(guān)系到絕大部分?jǐn)?shù)據(jù)資產(chǎn)的管理權(quán)限,你動(dòng)了這塊蛋糕,也就是動(dòng)了管理者們的核心利益。
對(duì)于各個(gè)部門、各事業(yè)群的一把手來說,這無疑相當(dāng)于重新劃分“勢(shì)力范圍”。
你畫這個(gè)藍(lán)圖問過我的意見了嗎?
沒有的話,那可不行。
于是,“齊心協(xié)力”把那個(gè)研發(fā)負(fù)責(zé)人整下崗了。
最終,這位研發(fā)負(fù)責(zé)人,鎩羽而歸,離職而去。
數(shù)據(jù)中臺(tái)和數(shù)據(jù)治理是什么關(guān)系?
數(shù)據(jù)中臺(tái)是解決數(shù)據(jù)治理問題的方式之一,但不是唯一方式。
數(shù)據(jù)治理的概念20多年前就有了。
還有一個(gè)機(jī)構(gòu),叫做數(shù)據(jù)治理研究所(DGI)。
據(jù)該所的定義,數(shù)據(jù)治理就是為了確定一系列的原則和實(shí)踐,確保數(shù)據(jù)在其生命周期中的高質(zhì)量。
之前,一聽到數(shù)據(jù)治理這四個(gè)字,人們的條件反射就是安全,管控,規(guī)章制度,條條框框。
說白了就是怎么樣確保數(shù)據(jù)安全。
普通員工一聽,這不關(guān)我的事,那是中高層的事。
公司里有資產(chǎn)放著不用,或者用不好,就是管理水平低,數(shù)據(jù)資產(chǎn)也一樣。
但是,數(shù)據(jù)越來越多,存儲(chǔ)和處理又很費(fèi)錢。
有人開始思考:
怎么樣把數(shù)據(jù)作為一個(gè)服務(wù)提供出來,給整個(gè)公司的技術(shù)團(tuán)隊(duì),甚至說非技術(shù)團(tuán)隊(duì),用起來。
數(shù)據(jù)孤島,始終存在,員工想在公司里看到更多數(shù)據(jù),成了一項(xiàng)情商測(cè)試。
得看人品,看關(guān)系。
兩個(gè)部門之間,即便一個(gè)部門的老板批了,對(duì)方部門的老板批了,提供數(shù)據(jù)的方式可能還是發(fā)郵件或者U盤拷貝,十分落后。
一些科技企業(yè)數(shù)據(jù)治理的主要“業(yè)績(jī)”,就是促進(jìn)跨部門的數(shù)據(jù)合作和使用。
大部分傳統(tǒng)行業(yè)企業(yè)還沒有數(shù)據(jù)治理的意識(shí)。
即使萌生了一星半點(diǎn)意識(shí),其目標(biāo)也只停留在合法合規(guī)安全管控不出亂子。
甚至,不少傳統(tǒng)企業(yè)連“促進(jìn)跨部門數(shù)據(jù)使用”這個(gè)意識(shí)都沒有。
典型的數(shù)據(jù)技術(shù)部門是什么呢?
比如,美團(tuán)的數(shù)據(jù)科學(xué)與平臺(tái)部,京東零售下面的京東技術(shù)與數(shù)據(jù)中心,快手科技主站產(chǎn)品部下面的數(shù)據(jù)分析部。
百度科技的大數(shù)據(jù)部,以前級(jí)別挺高,現(xiàn)在在百度AI技術(shù)平臺(tái)體系內(nèi)了。
經(jīng)過數(shù)據(jù)治理的一番努力,以前唯有數(shù)據(jù)技術(shù)部門能用的數(shù)據(jù),會(huì)有更多的部門能用。
以前用不了的數(shù)據(jù),現(xiàn)在能用了。
但是,好處也不是白來的,權(quán)利和責(zé)任是對(duì)應(yīng)的。
原來非數(shù)據(jù)部門、非技術(shù)部門沒權(quán)利去管理,同時(shí)也沒有義務(wù)去維護(hù)這些數(shù)據(jù)的質(zhì)量。
現(xiàn)在不一樣了,有權(quán)利去用,也要有更大的責(zé)任,去維護(hù)數(shù)據(jù)質(zhì)量。
負(fù)責(zé)數(shù)據(jù)治理的團(tuán)隊(duì),即使看到了“糟心問題”在某幾個(gè)團(tuán)隊(duì)之間扯皮,也不能直接介入處理。
要把問題整理成“共通的痛點(diǎn)”,先給決策層做提案,做建議,然后才有下一步。
如此一來,很多數(shù)據(jù)治理問題,經(jīng)年歷久,拖成了“冤案”。
短期還是依靠發(fā)郵件或者是U盤拷貝數(shù)據(jù),如此這般,至少還能用上。
有些公司被逼做“數(shù)據(jù)治理”的動(dòng)力,也是啟動(dòng)數(shù)據(jù)治理的大背景,是數(shù)據(jù)質(zhì)量存在問題。
比如數(shù)倉(cāng)的及時(shí)性、準(zhǔn)確性、規(guī)范性,數(shù)據(jù)應(yīng)用指標(biāo)的邏輯一致性等問題。
數(shù)據(jù)的質(zhì)量影響到使用,不得不干。
過去,企業(yè)內(nèi)部開發(fā)的大部分?jǐn)?shù)據(jù)系統(tǒng),是為了解決某一個(gè)業(yè)務(wù)的問題而開發(fā)的。
在開發(fā)數(shù)據(jù)系統(tǒng)的時(shí)候,并沒有考慮到將來這部分的數(shù)據(jù)資產(chǎn)要用在別處(其他業(yè)務(wù)、其他系統(tǒng)、其他領(lǐng)域所用)。
一段時(shí)間之后,別人用到這些數(shù)據(jù)的時(shí)候,不管從技術(shù)的性能,還是各種服務(wù) SLA (服務(wù)級(jí)別協(xié)議)的角度來講,可用性都較低。
變化一定是越來越多的,比如說數(shù)據(jù)源從單一,變成了多個(gè)。
從一朵云到多云。
種類由關(guān)系型數(shù)據(jù)庫(kù)為主,變成文檔、圖像、視頻、聲音、時(shí)間序列。
比如REI是一個(gè)美國(guó)人喜愛的戶外用品零售商,REI使用Tableau整合了來自75個(gè)數(shù)據(jù)源的數(shù)據(jù),使得REI可以分析完整的客戶體驗(yàn)。
數(shù)據(jù)的使用從BI報(bào)表、看板、大屏,到ad-hoc商業(yè)分析、數(shù)據(jù)科學(xué)分析、機(jī)器學(xué)習(xí)應(yīng)用。
還有,原來以數(shù)據(jù)倉(cāng)庫(kù)為中心的技術(shù)棧相對(duì)簡(jiǎn)單,只需要管好ETL的過程、存儲(chǔ)過程、查詢引擎、可視化,就可以了。
現(xiàn)在可好,技術(shù)棧爆炸式地增長(zhǎng),要管的東西掰著手指頭數(shù)不過來。
好的數(shù)據(jù)治理,能夠讓企業(yè)轉(zhuǎn)身就獲得新的商業(yè)模式。
Huel這家代餐食品公司就是這么說的,而且他們還說能夠以98%的準(zhǔn)確率來預(yù)測(cè)一月份每天的銷售量(該公司業(yè)務(wù)特點(diǎn)是預(yù)測(cè)一月份銷量最難)。
無論出于何種無奈,數(shù)據(jù)治理遲早要做,極少數(shù)走得快的,甚至用上了“超級(jí)智能化”服務(wù)。
反正,窮的窮死,富的富死,還有很多企業(yè)焦慮得要死。
本文在創(chuàng)作過程中,采訪了楊薈博士,他是一位連續(xù)創(chuàng)業(yè)者,埃森哲中國(guó)數(shù)據(jù)科學(xué)和AI團(tuán)隊(duì)創(chuàng)始人,現(xiàn)任某跨國(guó)快銷品公司數(shù)據(jù)和AI總監(jiān)。