企業(yè)數(shù)字化轉(zhuǎn)型與大數(shù)據(jù)+AI的技術(shù)趨勢

　　企業(yè)數(shù)字化轉(zhuǎn)型主要經(jīng)歷了兩個階段，從信息化階段到數(shù)智化階段。

　　第一階段，上世紀80，90年代，在西方已經(jīng)發(fā)展了數(shù)十年的信息化革命開始在中國展露其影響。計算機技術(shù)、網(wǎng)絡(luò)通信等核心技術(shù)的發(fā)展，使得信息化真正成為取代過去農(nóng)業(yè)和工業(yè)兩個時代的新時代。

　　慢慢的，企業(yè)開始將其原本停留在紙上，以及專家腦中的過程沉淀到信息化系統(tǒng)中，“數(shù)字化轉(zhuǎn)型”成為企業(yè)近幾十年一直在談?wù)摰脑掝}。這個過程中，一批優(yōu)秀的軟件企業(yè)開始涌現(xiàn)，尤其是ERP軟件，輔助各個企業(yè)進行數(shù)字化的改造。

　　不過隨著信息化的發(fā)展，企業(yè)積累和沉淀了非常多的數(shù)據(jù)，需要發(fā)揮數(shù)據(jù)的業(yè)務(wù)價值，大數(shù)據(jù)和AI技術(shù)被應(yīng)用到很多的業(yè)務(wù)場景當中，因此催生了數(shù)據(jù)驅(qū)動業(yè)務(wù)創(chuàng)新的市場需求。

　　第二階段，越來越多的企業(yè)不滿足簡單數(shù)字化轉(zhuǎn)型效果，而尋求數(shù)智化升級，數(shù)智融合平臺驅(qū)動的場景化智能成為企業(yè)實現(xiàn)轉(zhuǎn)型的必經(jīng)之路。

　　這個階段，技術(shù)平臺的能力開始凸顯。它既能融合大數(shù)據(jù)和AI的技術(shù)能力，又能快速產(chǎn)生豐富的場景化智能，并應(yīng)用到具體業(yè)務(wù)場景中，因而成為很多大型企業(yè)尋求變革的一種方式。

　　不過，企業(yè)數(shù)智化升級面臨了新的核心挑戰(zhàn)，主要體現(xiàn)在五點：①企業(yè)數(shù)據(jù)越積累越多，但是對數(shù)據(jù)價值的挖掘速度并沒有等速提升，單位數(shù)據(jù)價值密度越來越少；②企業(yè)業(yè)務(wù)智能化升級需求以及決策實時性需求與自身IT水平無法支撐的矛盾；③大數(shù)據(jù)和AI相關(guān)人才短缺；④業(yè)務(wù)智能化的投入產(chǎn)出比不高；⑤很難快速迭代，規(guī)?；M行業(yè)務(wù)智能化升級。

　　與此同時，大數(shù)據(jù)技術(shù)發(fā)展的趨勢也有了新的變化：①數(shù)據(jù)和算力的增長已經(jīng)超過了業(yè)務(wù)和硬件的發(fā)展；②大數(shù)據(jù)和AI應(yīng)用更多結(jié)合在了一起；③大數(shù)據(jù)平臺技術(shù)支持多模態(tài)計算；④越來越多的軟硬件開始共建發(fā)展 ；⑤大數(shù)據(jù)分析走向?qū)崟r化和智能化；⑥基于隱私安全的數(shù)據(jù)共享變得重要；⑦以湖倉一體為基礎(chǔ)的技術(shù)和業(yè)務(wù)成為新的演進趨勢。

　　也就是說，由客戶遇到挑戰(zhàn)而形成的市場需求，催生了技術(shù)的發(fā)展，而技術(shù)發(fā)展也不斷地回饋市場和客戶，優(yōu)化市場需求。阿里云在大數(shù)據(jù)AI平臺以及場景化智能打造方面已經(jīng)一直積極探索，并且在面向技術(shù)發(fā)展趨勢與客戶需求結(jié)合方面做了五大核心能力升級。

　　阿里云大數(shù)據(jù)+AI一體化平臺五大核心能力升級

　　能力1：敏捷數(shù)據(jù)治理，自底而上與自頂向下雙管齊下

　　大部分企業(yè)經(jīng)歷了數(shù)十年的信息化后，沉淀了非常多的業(yè)務(wù)數(shù)據(jù)，企業(yè)想要構(gòu)筑智能應(yīng)用壁壘，就要想辦法把這些數(shù)據(jù)使用起來。但是當企業(yè)構(gòu)建智能應(yīng)用的時候才發(fā)現(xiàn)，把這些數(shù)據(jù)使用起來是件很困難的事情：

　　比如，不同業(yè)務(wù)部門數(shù)據(jù)在自己平臺上形成了數(shù)據(jù)孤島，不僅數(shù)據(jù)之間不互通，甚至數(shù)據(jù)命名規(guī)則、表現(xiàn)形式、限制條件等都不同；熟悉所有數(shù)據(jù)邏輯的專業(yè)人才匱乏；數(shù)據(jù)沒有任何區(qū)分的存儲……

　　大家開始意識到針對企業(yè)的數(shù)據(jù)治理是門必修課。

　　互聯(lián)網(wǎng)公司對數(shù)據(jù)治理通常采用非常有效的“精益生產(chǎn)”方式：由數(shù)據(jù)開發(fā)人員自底向上建立模型，先將數(shù)據(jù)從數(shù)據(jù)源集成到數(shù)據(jù)平臺中，然后再對數(shù)據(jù)進行加工處理、再存儲，以及通過數(shù)據(jù)服務(wù)提供給上層應(yīng)用，遇到問題之后隨時對數(shù)據(jù)進行治理。

　　這種自底而上方式可以非常快速地從點的角度進行大規(guī)模數(shù)據(jù)處理，快速響應(yīng)業(yè)務(wù)的需求，同時通過中間的數(shù)據(jù)治理環(huán)節(jié)，對數(shù)據(jù)的存儲，加工成本進行管控。大數(shù)據(jù)開發(fā)治理平臺DataWorks就在這方面給企業(yè)提供了靈活的服務(wù)支撐。

　　逐漸地，企業(yè)對統(tǒng)一數(shù)據(jù)標準、統(tǒng)一數(shù)據(jù)管理與治理又提出了新要求，自頂向下的模式開始被廣泛需求與應(yīng)用：從業(yè)務(wù)入手進行數(shù)倉的體系規(guī)劃，梳理現(xiàn)有數(shù)據(jù)，定義標準，進行數(shù)倉建模，事先定義好各類業(yè)務(wù)應(yīng)用的數(shù)據(jù)指標。

　　值得一提的是，這種需求已經(jīng)從金融行業(yè)蔓延到各行各業(yè)，甚至是習(xí)慣于自底向上、小步快跑的互聯(lián)網(wǎng)企業(yè)。DataWorks采用雙管齊下的方式滿足企業(yè)在數(shù)據(jù)治理方面的全方位平臺性需求，將傳統(tǒng)的自頂向下建模體系能力與適應(yīng)靈活“精益生產(chǎn)”自底向上構(gòu)建數(shù)倉體系的能力相結(jié)合，提供了逆向建模的能力。

　　與此同時，為了讓企業(yè)非常容易地看到自己的數(shù)據(jù)到底是否健康，DataWorks 還推出了數(shù)據(jù)治理健康度五維評估模型，從研發(fā)規(guī)范、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、計算資源、存儲資源五個層面評估企業(yè)的數(shù)據(jù)健康情況，更有效為企業(yè)的數(shù)據(jù)治理提供有力的數(shù)字依據(jù)。

　　能力2：湖倉一體新升級2.0，真正做到一份數(shù)據(jù)，統(tǒng)一管控，多樣分析

　　最近，數(shù)據(jù)湖的形態(tài)被眾多企業(yè)所使用，這種技術(shù)形態(tài)決定了企業(yè)很容易管理數(shù)據(jù)，并在其之上使用豐富的開源引擎做各種形態(tài)的計算。同時，在傳統(tǒng)報表等BI應(yīng)用催生下，企業(yè)已經(jīng)構(gòu)建的數(shù)據(jù)倉庫形成了“數(shù)據(jù)孤島”，數(shù)據(jù)間協(xié)同分析很難被執(zhí)行，而且大部分企業(yè)沒有將所有數(shù)據(jù)進行大集中處理的能力。

　　在應(yīng)用需求催生下，面向不同的倉和湖形態(tài)的數(shù)據(jù)存儲和分析，企業(yè)有了非常強的數(shù)據(jù)互通需求。這也是“湖倉一體”的產(chǎn)生的背景。去年，阿里云“湖倉一體”打通云上數(shù)倉產(chǎn)品“MaxCompute”與數(shù)據(jù)湖產(chǎn)品“EMR”，經(jīng)過一年的客戶磨練與沉淀，“湖倉一體”有了2.0的新能力。

　　從購買體驗上，用戶可以在線上分鐘級打通云上Severless數(shù)據(jù)倉庫（ MaxCompute）和云原生數(shù)據(jù)湖（EMR+OSS），實現(xiàn)統(tǒng)一元數(shù)據(jù)、存儲方面的安全互通。不僅更好的支持標準HDFS的數(shù)據(jù)訪問，而且持續(xù)優(yōu)化對OSS對象存儲高速訪問性能， 擴展支持Hudi、Delta Lake等開源數(shù)據(jù)湖格式。MaxCompute計算服務(wù)通過對智能緩存能力的升級，使訪問EMR數(shù)據(jù)湖中的數(shù)據(jù)有10+倍性能的提升。

　　換句話說，湖倉一體2.0可以幫助企業(yè)消除數(shù)據(jù)孤島，通過DataWorks將不同形態(tài)的數(shù)據(jù)統(tǒng)一管理與治理起來，并對特定應(yīng)用加速分析。同時也可以幫助企業(yè)在新建數(shù)倉或者數(shù)據(jù)湖的同時，對既有系統(tǒng)進行充分利舊，在應(yīng)用需求日趨迫切的時候，為企業(yè)規(guī)避了進行數(shù)據(jù)大集中的決策性風(fēng)險。

　　能力3: 云上數(shù)倉離在線一體化，實現(xiàn)分析性能提升

　　實時化和智能化成為云上數(shù)倉服務(wù)的發(fā)展方向。越來越多的企業(yè)無法忍受數(shù)據(jù)經(jīng)過T+1的離線處理之后，再產(chǎn)生指導(dǎo)業(yè)務(wù)數(shù)據(jù)決策的漫長工作，而是希望能在不斷產(chǎn)生實時數(shù)據(jù)的同時，與既有的離線數(shù)據(jù)一起產(chǎn)生實時洞察，從而立即產(chǎn)生業(yè)務(wù)所需的策略。

　　比如游戲玩家，在游戲體驗過程中，按照玩家的即時需求給他推送對當前游戲體驗有很大幫助的禮包，在滿足玩家體驗的同時，也會增加付費轉(zhuǎn)化率；比如在證券交易實時數(shù)據(jù)產(chǎn)生時，通過離在線一體化的數(shù)據(jù)分析實現(xiàn)交易，滿足監(jiān)管機構(gòu)的管理要求，更好的幫助機構(gòu)控制風(fēng)險。

　　云上數(shù)倉離在線一體化方案，針對用戶在分析領(lǐng)域各種時效性的需求，按需提供服務(wù)。離線大數(shù)據(jù)分析MaxCompute與實時數(shù)倉Hologres實現(xiàn)深度集成，對離線數(shù)據(jù)的實時化分析可以實現(xiàn)10倍性能的提升。

　　在實時數(shù)倉的內(nèi)部構(gòu)件當中，可以通過實時計算Flink版的能力實現(xiàn)事件驅(qū)動的實時數(shù)倉的構(gòu)建。向外可以對數(shù)據(jù)湖中的數(shù)據(jù)進行高效的分析，實現(xiàn)數(shù)據(jù)高速入倉，通過對標準開放的 SQL協(xié)議的支持，實現(xiàn)對19款主流BI工具的原生支持，幫助客戶快速構(gòu)建從數(shù)據(jù)集成到數(shù)據(jù)分析界面的數(shù)倉應(yīng)用。

　　數(shù)據(jù)規(guī)模越來越大，集群規(guī)模越來越大，一定會對大數(shù)據(jù)平臺的運維能力產(chǎn)生很大的挑戰(zhàn)，在海量數(shù)據(jù)可管，可控下，通過查詢優(yōu)化技術(shù)和文件存儲優(yōu)化技術(shù)將大規(guī)模集群的優(yōu)勢發(fā)揮到極致，并通過冷熱冰存儲的自動分層，為用戶降低存儲增長帶來的成本的提升。智能數(shù)倉解決了大部分企業(yè)運維難的問題，真正做到企業(yè)大數(shù)據(jù)平臺的智能駕駛。

　　能力4：大數(shù)據(jù)AI場景化智能，為業(yè)務(wù)提速

　　大數(shù)據(jù)和AI的融合，不僅是通常說的可以給企業(yè)IT運營降本增效，還可以直接帶來業(yè)務(wù)的價值。

　　下面舉幾個例子來看，阿里云怎么利用大數(shù)據(jù)和AI的力量為企業(yè)帶來用戶增長，業(yè)務(wù)運營效率的提升，業(yè)務(wù)運營成本的下降，抑或是改進風(fēng)控的效果。

　　首先是音視頻媒體的端上超分?；诎⒗镆呀?jīng)開源多年的MNN端上推理框架，結(jié)合在算法推理上沉淀多年的優(yōu)化經(jīng)驗，構(gòu)建了端上超分的算法應(yīng)用在幫助用戶提升體驗的同時，最大可能的節(jié)省了計算、存儲、網(wǎng)絡(luò)資源。

　　音視頻媒體的觀看體驗和流暢度帶來的用戶留存以及CDN和GPU的計算、存儲資源成本是任何一家互聯(lián)網(wǎng)內(nèi)容提供商在業(yè)務(wù)運營的時候都需要考慮的非常重要的兩個指標。

　　經(jīng)過實際客戶的驗證數(shù)據(jù)顯示，我們可以幫助客戶節(jié)省44%到75%的CDN內(nèi)容分發(fā)成本，同時帶來1%的觀看時長的提升。

　　這兩個指標隨著用戶數(shù)的增加，給企業(yè)帶來不斷提升的業(yè)務(wù)運營效率。同時把很多云端的大規(guī)模推理計算分散到了端側(cè)，大大節(jié)省了企業(yè)的運營成本。

　　其次是大數(shù)據(jù)與AI的軟硬件協(xié)同優(yōu)化。PAI - Eflops 很好的解決了客戶在深度學(xué)習(xí)訓(xùn)練或者推理加速中的痛點，通過軟硬件協(xié)同優(yōu)化，幫助客戶把AI算力的投資轉(zhuǎn)化為更加高效的生產(chǎn)力。

　　通過多項專利保護的集群網(wǎng)絡(luò)優(yōu)化技術(shù)，大規(guī)模分布式模型訓(xùn)練中的內(nèi)存管理技術(shù)，自研的vGPU技術(shù)，多年沉淀的大規(guī)模分布式模型訓(xùn)練和優(yōu)化框架，以及端到端的模型管理，監(jiān)控和運維技術(shù)，PAI-Eflops幫助很多客戶在特定的場景下將軟硬協(xié)同的優(yōu)勢發(fā)揮到極致，在金融量化模型，互聯(lián)網(wǎng)智能搜索等AI密集型應(yīng)用的場景下，我們可以通過將復(fù)雜神經(jīng)網(wǎng)絡(luò)的參數(shù)傳遞性能提升3到7倍，提升GPU算力的應(yīng)用效率，進而實現(xiàn)整體性能近百倍的提升。

　　模型訓(xùn)練和推理的體驗與云上PAI的體驗完全一致，使得未來用戶可以享受到便捷的云上和線下聯(lián)邦建模等云邊一體化的AI體驗，節(jié)省自身IT更大規(guī)模的AI訓(xùn)練集群的投入。

　　大部分互聯(lián)網(wǎng)企業(yè)最核心的問題就是保持用戶增長，從廣告營銷，到新用戶的LTV提升轉(zhuǎn)化，再到流失用戶的召回，這些都是業(yè)務(wù)管理上最為關(guān)注的關(guān)鍵性指標。

　　通過大數(shù)據(jù)平臺與AI建模能力的結(jié)合，我們可以通過智能算法的優(yōu)勢，幫助企業(yè)提升超過20%的廣告投放 RoI，提升5%以上的短信用戶召回的效率，精確的老客LTV評估可以助理精細化運營效率提升近30%。這些都直接為互聯(lián)網(wǎng)的企業(yè)帶來了業(yè)務(wù)上的明顯收益。

　　能力5：數(shù)據(jù)安全與隱私計算，為數(shù)據(jù)協(xié)同與共享保駕護航

　　數(shù)據(jù)協(xié)同成為技術(shù)發(fā)展的趨勢，數(shù)據(jù)安全與隱私計算成為大數(shù)據(jù)平臺必不可少的能力。

　　阿里云在大數(shù)據(jù)計算和分析的引擎中預(yù)置了多種安全計算的方式以及集團業(yè)務(wù)沉淀的常用的聯(lián)邦學(xué)習(xí)的算法，在端到端的數(shù)據(jù)鏈路上實現(xiàn)了數(shù)據(jù)訪問的可管，可控，可追溯。同時將超大規(guī)模分布式云原生架構(gòu)與內(nèi)置的 MPC，TEE，F(xiàn)L等技術(shù)緊密結(jié)合，利用DataWorks強大的數(shù)據(jù)開發(fā)和治理平臺的能力，將隱私計算的任務(wù)與所有其他的數(shù)據(jù)類任務(wù)進行聯(lián)合編排和管理，實現(xiàn)完整的企業(yè)級數(shù)據(jù)應(yīng)用。

　　大數(shù)據(jù)+AI平臺的4S標準和3大特性

　　大數(shù)據(jù)與AI融合技術(shù)催生的場景化智能可以幫助客戶帶來業(yè)務(wù)價值，但是如何將這樣的價值低成本的在企業(yè)進行復(fù)制，就需要發(fā)揮云原生以及平臺層的力量。

　　通過平臺能力和場景化智能服務(wù)，企業(yè)可以方便改造業(yè)務(wù)工作流，在用戶增長，運營成本降低，運營效率改進，風(fēng)控安全等等界面最終實現(xiàn)業(yè)務(wù)價值的提升。而平臺能力正是通過“深”，“通”，“透”三大特性來構(gòu)建。

　　“深”意味著在很多的場景下，需要通過軟硬件協(xié)同的深度優(yōu)化來追求極致的場景性能。對雜亂無章，無源可循的數(shù)據(jù)進行深度的治理。在AI計算資源緊張的情況下，通過對算法框架的深度優(yōu)化，實現(xiàn)大模型訓(xùn)練和推理的降本與提效。

　　“通”意味著大數(shù)據(jù)與AI分析聯(lián)通在一起，大數(shù)據(jù)更多的為AI應(yīng)用所服務(wù)，而AI更多的依賴大數(shù)據(jù)系統(tǒng)。用戶自有的湖與倉可以很好的從存儲，元數(shù)據(jù)和計算層面進行聯(lián)通，真正做到一份數(shù)據(jù)，多樣化計算。通過聯(lián)邦學(xué)習(xí)和多方安全計算，實現(xiàn)數(shù)據(jù)確權(quán)情況下的安全互通。

　　“透”意味著很多可以開箱即用的場景化的智能，可以根據(jù)客戶的特定用戶場景，從數(shù)據(jù)，行業(yè)模型，行業(yè)分析模版，典型算法框架等層面沉淀具備行業(yè)屬性的場景化智能，從而實現(xiàn)從數(shù)據(jù)到業(yè)務(wù)的閉環(huán)。

　　與此同時，我們通過 “4S” 的標準來定義大數(shù)據(jù)與AI平臺。“4S”分別是：Scale，代表平臺必須可以承載大數(shù)據(jù)，大應(yīng)用和大模型；Speed，平臺必須具備極致的運行，開發(fā)和運維的效率；Simplicity，平臺對外的程序接口或者是服務(wù)接口一定是標準，簡單，易懂，可以像函數(shù)般被調(diào)用；Scenario，最后一點也是最重要的一點，平臺能力向場景而生。

　　阿里云智能計算平臺幫助客戶打造的就是這樣的大數(shù)據(jù)與AI平臺，亦或是通過這樣的平臺為成千上萬的云上客戶提供便捷的云上服務(wù)。

　　目前為止，圍繞數(shù)據(jù)的全鏈路生命周期，經(jīng)過多年阿里集團應(yīng)用以及數(shù)十萬云上客戶打磨，阿里靈杰形成了一系列拳頭產(chǎn)品，包括大數(shù)據(jù)+AI平臺類產(chǎn)品（云原生大數(shù)據(jù)計算服務(wù)MaxCompute，開源大數(shù)據(jù)平臺EMR，數(shù)據(jù)湖構(gòu)建DLF，大數(shù)據(jù)開發(fā)治理平臺DataWorks，實時數(shù)倉 Hologres，實時計算Flink版，機器學(xué)習(xí)平臺 PAI，智能搜索OpenSearch等），以及豐富的生態(tài)產(chǎn)品（DDI，Elasticsearch，Cloudera，Confluent，Starburst等）。

　　并且，阿里靈杰基于場景化需求，為用戶提供更多的開箱即用的標準化智能服務(wù)接口和場景化智能解決方案，幫助企業(yè)提升業(yè)務(wù)價值。目前，平臺已經(jīng)深入到各行各業(yè)，為互聯(lián)網(wǎng)、金融、制造、電信、教育等不同行業(yè)的客戶帶來平臺催生的智能化變革。