很多年以前,企業(yè)每天都在想方設(shè)法,把手頭的數(shù)據(jù)用好。
錢來貨往,大數(shù)據(jù)和人工智能火起來之后,沉淀的數(shù)據(jù)一下子多了起來,如何管好+如何用好數(shù)據(jù),成為大多數(shù)企業(yè)的難題。
數(shù)據(jù)發(fā)揮價值是近10-20年才有的概念,這就帶出了數(shù)據(jù)治理。
數(shù)據(jù)治理,是伴隨解決“糟心問題”而生的。
在數(shù)據(jù)開發(fā)的過程中,會冒出各種“糟心事兒”,五花八門(質(zhì)量、效率、安全等方面)。
而數(shù)據(jù)治理的任務(wù)就是,對于這種“事兒”,來一個“消滅”一個。
有的問題三年五載都消除不了,那就(也)算(得)了(干)。
一直消除不了,就一直有“痛點”。
一般來說,數(shù)據(jù)治理研究的專家不會說得這么接地氣,而是會說:“保障數(shù)據(jù)準(zhǔn)確、全面和完整,為業(yè)務(wù)創(chuàng)造價值,同時嚴(yán)格管理數(shù)據(jù)的權(quán)限,避免數(shù)據(jù)泄露帶來的業(yè)務(wù)風(fēng)險?!?/p>
高層聽了頷首,員工聽了翻白眼。
而且數(shù)據(jù)治理不“接地氣”,工作就得“接地府”。
某位大型互聯(lián)網(wǎng)科技公司的研發(fā)負責(zé)人,和公司老總一起出差的時候,抓住時機,用全程航班的時間安利了一把“數(shù)據(jù)中臺”。
老總把知識點吸收得很好,很喜歡,把“組件化”“標(biāo)準(zhǔn)化”“不重復(fù)造輪子”都學(xué)會了,就安排研發(fā)負責(zé)人去推動。
閉門研究了一段時間后,研發(fā)負責(zé)人就拿出一個大圖,你干這個,他干那個。完全按照理想化的思路,來了個天翻地覆式的大改動,無異于重新設(shè)計。
很多管理層一看到這個“藍圖”都傻眼了,心里又氣又恨,臉上還佯裝笑容。
表面上夸創(chuàng)新,背地里和哥幾個關(guān)系好的,交換眼色,把手放在脖子上做了個橫刀一抹的動作。
數(shù)據(jù)中臺這塊蛋糕,關(guān)系到絕大部分?jǐn)?shù)據(jù)資產(chǎn)的管理權(quán)限,你動了這塊蛋糕,也就是動了管理者們的核心利益。
對于各個部門、各事業(yè)群的一把手來說,這無疑相當(dāng)于重新劃分“勢力范圍”。
你畫這個藍圖問過我的意見了嗎?
沒有的話,那可不行。
于是,“齊心協(xié)力”把那個研發(fā)負責(zé)人整下崗了。
最終,這位研發(fā)負責(zé)人,鎩羽而歸,離職而去。
數(shù)據(jù)中臺和數(shù)據(jù)治理是什么關(guān)系?
數(shù)據(jù)中臺是解決數(shù)據(jù)治理問題的方式之一,但不是唯一方式。
數(shù)據(jù)治理的概念20多年前就有了。
還有一個機構(gòu),叫做數(shù)據(jù)治理研究所(DGI)。
據(jù)該所的定義,數(shù)據(jù)治理就是為了確定一系列的原則和實踐,確保數(shù)據(jù)在其生命周期中的高質(zhì)量。
之前,一聽到數(shù)據(jù)治理這四個字,人們的條件反射就是安全,管控,規(guī)章制度,條條框框。
說白了就是怎么樣確保數(shù)據(jù)安全。
普通員工一聽,這不關(guān)我的事,那是中高層的事。
公司里有資產(chǎn)放著不用,或者用不好,就是管理水平低,數(shù)據(jù)資產(chǎn)也一樣。
但是,數(shù)據(jù)越來越多,存儲和處理又很費錢。
有人開始思考:
怎么樣把數(shù)據(jù)作為一個服務(wù)提供出來,給整個公司的技術(shù)團隊,甚至說非技術(shù)團隊,用起來。
數(shù)據(jù)孤島,始終存在,員工想在公司里看到更多數(shù)據(jù),成了一項情商測試。
得看人品,看關(guān)系。
兩個部門之間,即便一個部門的老板批了,對方部門的老板批了,提供數(shù)據(jù)的方式可能還是發(fā)郵件或者U盤拷貝,十分落后。
一些科技企業(yè)數(shù)據(jù)治理的主要“業(yè)績”,就是促進跨部門的數(shù)據(jù)合作和使用。
大部分傳統(tǒng)行業(yè)企業(yè)還沒有數(shù)據(jù)治理的意識。
即使萌生了一星半點意識,其目標(biāo)也只停留在合法合規(guī)安全管控不出亂子。
甚至,不少傳統(tǒng)企業(yè)連“促進跨部門數(shù)據(jù)使用”這個意識都沒有。
典型的數(shù)據(jù)技術(shù)部門是什么呢?
比如,美團的數(shù)據(jù)科學(xué)與平臺部,京東零售下面的京東技術(shù)與數(shù)據(jù)中心,快手科技主站產(chǎn)品部下面的數(shù)據(jù)分析部。
百度科技的大數(shù)據(jù)部,以前級別挺高,現(xiàn)在在百度AI技術(shù)平臺體系內(nèi)了。
經(jīng)過數(shù)據(jù)治理的一番努力,以前唯有數(shù)據(jù)技術(shù)部門能用的數(shù)據(jù),會有更多的部門能用。
以前用不了的數(shù)據(jù),現(xiàn)在能用了。
但是,好處也不是白來的,權(quán)利和責(zé)任是對應(yīng)的。
原來非數(shù)據(jù)部門、非技術(shù)部門沒權(quán)利去管理,同時也沒有義務(wù)去維護這些數(shù)據(jù)的質(zhì)量。
現(xiàn)在不一樣了,有權(quán)利去用,也要有更大的責(zé)任,去維護數(shù)據(jù)質(zhì)量。
負責(zé)數(shù)據(jù)治理的團隊,即使看到了“糟心問題”在某幾個團隊之間扯皮,也不能直接介入處理。
要把問題整理成“共通的痛點”,先給決策層做提案,做建議,然后才有下一步。
如此一來,很多數(shù)據(jù)治理問題,經(jīng)年歷久,拖成了“冤案”。
短期還是依靠發(fā)郵件或者是U盤拷貝數(shù)據(jù),如此這般,至少還能用上。
有些公司被逼做“數(shù)據(jù)治理”的動力,也是啟動數(shù)據(jù)治理的大背景,是數(shù)據(jù)質(zhì)量存在問題。
比如數(shù)倉的及時性、準(zhǔn)確性、規(guī)范性,數(shù)據(jù)應(yīng)用指標(biāo)的邏輯一致性等問題。
數(shù)據(jù)的質(zhì)量影響到使用,不得不干。
過去,企業(yè)內(nèi)部開發(fā)的大部分?jǐn)?shù)據(jù)系統(tǒng),是為了解決某一個業(yè)務(wù)的問題而開發(fā)的。
在開發(fā)數(shù)據(jù)系統(tǒng)的時候,并沒有考慮到將來這部分的數(shù)據(jù)資產(chǎn)要用在別處(其他業(yè)務(wù)、其他系統(tǒng)、其他領(lǐng)域所用)。
一段時間之后,別人用到這些數(shù)據(jù)的時候,不管從技術(shù)的性能,還是各種服務(wù) SLA (服務(wù)級別協(xié)議)的角度來講,可用性都較低。
變化一定是越來越多的,比如說數(shù)據(jù)源從單一,變成了多個。
從一朵云到多云。
種類由關(guān)系型數(shù)據(jù)庫為主,變成文檔、圖像、視頻、聲音、時間序列。
比如REI是一個美國人喜愛的戶外用品零售商,REI使用Tableau整合了來自75個數(shù)據(jù)源的數(shù)據(jù),使得REI可以分析完整的客戶體驗。
數(shù)據(jù)的使用從BI報表、看板、大屏,到ad-hoc商業(yè)分析、數(shù)據(jù)科學(xué)分析、機器學(xué)習(xí)應(yīng)用。
還有,原來以數(shù)據(jù)倉庫為中心的技術(shù)棧相對簡單,只需要管好ETL的過程、存儲過程、查詢引擎、可視化,就可以了。
現(xiàn)在可好,技術(shù)棧爆炸式地增長,要管的東西掰著手指頭數(shù)不過來。
好的數(shù)據(jù)治理,能夠讓企業(yè)轉(zhuǎn)身就獲得新的商業(yè)模式。
Huel這家代餐食品公司就是這么說的,而且他們還說能夠以98%的準(zhǔn)確率來預(yù)測一月份每天的銷售量(該公司業(yè)務(wù)特點是預(yù)測一月份銷量最難)。
無論出于何種無奈,數(shù)據(jù)治理遲早要做,極少數(shù)走得快的,甚至用上了“超級智能化”服務(wù)。
反正,窮的窮死,富的富死,還有很多企業(yè)焦慮得要死。
本文在創(chuàng)作過程中,采訪了楊薈博士,他是一位連續(xù)創(chuàng)業(yè)者,埃森哲中國數(shù)據(jù)科學(xué)和AI團隊創(chuàng)始人,現(xiàn)任某跨國快銷品公司數(shù)據(jù)和AI總監(jiān)。