企業(yè)數(shù)字化轉型與大數(shù)據+AI的技術趨勢

　　企業(yè)數(shù)字化轉型主要經歷了兩個階段，從信息化階段到數(shù)智化階段。

　　第一階段，上世紀80，90年代，在西方已經發(fā)展了數(shù)十年的信息化革命開始在中國展露其影響。計算機技術、網絡通信等核心技術的發(fā)展，使得信息化真正成為取代過去農業(yè)和工業(yè)兩個時代的新時代。

　　慢慢的，企業(yè)開始將其原本停留在紙上，以及專家腦中的過程沉淀到信息化系統(tǒng)中，“數(shù)字化轉型”成為企業(yè)近幾十年一直在談論的話題。這個過程中，一批優(yōu)秀的軟件企業(yè)開始涌現(xiàn)，尤其是ERP軟件，輔助各個企業(yè)進行數(shù)字化的改造。

　　不過隨著信息化的發(fā)展，企業(yè)積累和沉淀了非常多的數(shù)據，需要發(fā)揮數(shù)據的業(yè)務價值，大數(shù)據和AI技術被應用到很多的業(yè)務場景當中，因此催生了數(shù)據驅動業(yè)務創(chuàng)新的市場需求。

　　第二階段，越來越多的企業(yè)不滿足簡單數(shù)字化轉型效果，而尋求數(shù)智化升級，數(shù)智融合平臺驅動的場景化智能成為企業(yè)實現(xiàn)轉型的必經之路。

　　這個階段，技術平臺的能力開始凸顯。它既能融合大數(shù)據和AI的技術能力，又能快速產生豐富的場景化智能，并應用到具體業(yè)務場景中，因而成為很多大型企業(yè)尋求變革的一種方式。

　　不過，企業(yè)數(shù)智化升級面臨了新的核心挑戰(zhàn)，主要體現(xiàn)在五點：①企業(yè)數(shù)據越積累越多，但是對數(shù)據價值的挖掘速度并沒有等速提升，單位數(shù)據價值密度越來越少；②企業(yè)業(yè)務智能化升級需求以及決策實時性需求與自身IT水平無法支撐的矛盾；③大數(shù)據和AI相關人才短缺；④業(yè)務智能化的投入產出比不高；⑤很難快速迭代，規(guī)模化進行業(yè)務智能化升級。

　　與此同時，大數(shù)據技術發(fā)展的趨勢也有了新的變化：①數(shù)據和算力的增長已經超過了業(yè)務和硬件的發(fā)展；②大數(shù)據和AI應用更多結合在了一起；③大數(shù)據平臺技術支持多模態(tài)計算；④越來越多的軟硬件開始共建發(fā)展 ；⑤大數(shù)據分析走向實時化和智能化；⑥基于隱私安全的數(shù)據共享變得重要；⑦以湖倉一體為基礎的技術和業(yè)務成為新的演進趨勢。

　　也就是說，由客戶遇到挑戰(zhàn)而形成的市場需求，催生了技術的發(fā)展，而技術發(fā)展也不斷地回饋市場和客戶，優(yōu)化市場需求。阿里云在大數(shù)據AI平臺以及場景化智能打造方面已經一直積極探索，并且在面向技術發(fā)展趨勢與客戶需求結合方面做了五大核心能力升級。

　　阿里云大數(shù)據+AI一體化平臺五大核心能力升級

　　能力1：敏捷數(shù)據治理，自底而上與自頂向下雙管齊下

　　大部分企業(yè)經歷了數(shù)十年的信息化后，沉淀了非常多的業(yè)務數(shù)據，企業(yè)想要構筑智能應用壁壘，就要想辦法把這些數(shù)據使用起來。但是當企業(yè)構建智能應用的時候才發(fā)現(xiàn)，把這些數(shù)據使用起來是件很困難的事情：

　　比如，不同業(yè)務部門數(shù)據在自己平臺上形成了數(shù)據孤島，不僅數(shù)據之間不互通，甚至數(shù)據命名規(guī)則、表現(xiàn)形式、限制條件等都不同；熟悉所有數(shù)據邏輯的專業(yè)人才匱乏；數(shù)據沒有任何區(qū)分的存儲……

　　大家開始意識到針對企業(yè)的數(shù)據治理是門必修課。

　　互聯(lián)網公司對數(shù)據治理通常采用非常有效的“精益生產”方式：由數(shù)據開發(fā)人員自底向上建立模型，先將數(shù)據從數(shù)據源集成到數(shù)據平臺中，然后再對數(shù)據進行加工處理、再存儲，以及通過數(shù)據服務提供給上層應用，遇到問題之后隨時對數(shù)據進行治理。

　　這種自底而上方式可以非?？焖俚貜狞c的角度進行大規(guī)模數(shù)據處理，快速響應業(yè)務的需求，同時通過中間的數(shù)據治理環(huán)節(jié)，對數(shù)據的存儲，加工成本進行管控。大數(shù)據開發(fā)治理平臺DataWorks就在這方面給企業(yè)提供了靈活的服務支撐。

　　逐漸地，企業(yè)對統(tǒng)一數(shù)據標準、統(tǒng)一數(shù)據管理與治理又提出了新要求，自頂向下的模式開始被廣泛需求與應用：從業(yè)務入手進行數(shù)倉的體系規(guī)劃，梳理現(xiàn)有數(shù)據，定義標準，進行數(shù)倉建模，事先定義好各類業(yè)務應用的數(shù)據指標。

　　值得一提的是，這種需求已經從金融行業(yè)蔓延到各行各業(yè)，甚至是習慣于自底向上、小步快跑的互聯(lián)網企業(yè)。DataWorks采用雙管齊下的方式滿足企業(yè)在數(shù)據治理方面的全方位平臺性需求，將傳統(tǒng)的自頂向下建模體系能力與適應靈活“精益生產”自底向上構建數(shù)倉體系的能力相結合，提供了逆向建模的能力。

　　與此同時，為了讓企業(yè)非常容易地看到自己的數(shù)據到底是否健康，DataWorks 還推出了數(shù)據治理健康度五維評估模型，從研發(fā)規(guī)范、數(shù)據質量、數(shù)據安全、計算資源、存儲資源五個層面評估企業(yè)的數(shù)據健康情況，更有效為企業(yè)的數(shù)據治理提供有力的數(shù)字依據。

　　能力2：湖倉一體新升級2.0，真正做到一份數(shù)據，統(tǒng)一管控，多樣分析

　　最近，數(shù)據湖的形態(tài)被眾多企業(yè)所使用，這種技術形態(tài)決定了企業(yè)很容易管理數(shù)據，并在其之上使用豐富的開源引擎做各種形態(tài)的計算。同時，在傳統(tǒng)報表等BI應用催生下，企業(yè)已經構建的數(shù)據倉庫形成了“數(shù)據孤島”，數(shù)據間協(xié)同分析很難被執(zhí)行，而且大部分企業(yè)沒有將所有數(shù)據進行大集中處理的能力。

　　在應用需求催生下，面向不同的倉和湖形態(tài)的數(shù)據存儲和分析，企業(yè)有了非常強的數(shù)據互通需求。這也是“湖倉一體”的產生的背景。去年，阿里云“湖倉一體”打通云上數(shù)倉產品“MaxCompute”與數(shù)據湖產品“EMR”，經過一年的客戶磨練與沉淀，“湖倉一體”有了2.0的新能力。

　　從購買體驗上，用戶可以在線上分鐘級打通云上Severless數(shù)據倉庫（ MaxCompute）和云原生數(shù)據湖（EMR+OSS），實現(xiàn)統(tǒng)一元數(shù)據、存儲方面的安全互通。不僅更好的支持標準HDFS的數(shù)據訪問，而且持續(xù)優(yōu)化對OSS對象存儲高速訪問性能， 擴展支持Hudi、Delta Lake等開源數(shù)據湖格式。MaxCompute計算服務通過對智能緩存能力的升級，使訪問EMR數(shù)據湖中的數(shù)據有10+倍性能的提升。

　　換句話說，湖倉一體2.0可以幫助企業(yè)消除數(shù)據孤島，通過DataWorks將不同形態(tài)的數(shù)據統(tǒng)一管理與治理起來，并對特定應用加速分析。同時也可以幫助企業(yè)在新建數(shù)倉或者數(shù)據湖的同時，對既有系統(tǒng)進行充分利舊，在應用需求日趨迫切的時候，為企業(yè)規(guī)避了進行數(shù)據大集中的決策性風險。

　　能力3: 云上數(shù)倉離在線一體化，實現(xiàn)分析性能提升

　　實時化和智能化成為云上數(shù)倉服務的發(fā)展方向。越來越多的企業(yè)無法忍受數(shù)據經過T+1的離線處理之后，再產生指導業(yè)務數(shù)據決策的漫長工作，而是希望能在不斷產生實時數(shù)據的同時，與既有的離線數(shù)據一起產生實時洞察，從而立即產生業(yè)務所需的策略。

　　比如游戲玩家，在游戲體驗過程中，按照玩家的即時需求給他推送對當前游戲體驗有很大幫助的禮包，在滿足玩家體驗的同時，也會增加付費轉化率；比如在證券交易實時數(shù)據產生時，通過離在線一體化的數(shù)據分析實現(xiàn)交易，滿足監(jiān)管機構的管理要求，更好的幫助機構控制風險。

　　云上數(shù)倉離在線一體化方案，針對用戶在分析領域各種時效性的需求，按需提供服務。離線大數(shù)據分析MaxCompute與實時數(shù)倉Hologres實現(xiàn)深度集成，對離線數(shù)據的實時化分析可以實現(xiàn)10倍性能的提升。

　　在實時數(shù)倉的內部構件當中，可以通過實時計算Flink版的能力實現(xiàn)事件驅動的實時數(shù)倉的構建。向外可以對數(shù)據湖中的數(shù)據進行高效的分析，實現(xiàn)數(shù)據高速入倉，通過對標準開放的 SQL協(xié)議的支持，實現(xiàn)對19款主流BI工具的原生支持，幫助客戶快速構建從數(shù)據集成到數(shù)據分析界面的數(shù)倉應用。

　　數(shù)據規(guī)模越來越大，集群規(guī)模越來越大，一定會對大數(shù)據平臺的運維能力產生很大的挑戰(zhàn)，在海量數(shù)據可管，可控下，通過查詢優(yōu)化技術和文件存儲優(yōu)化技術將大規(guī)模集群的優(yōu)勢發(fā)揮到極致，并通過冷熱冰存儲的自動分層，為用戶降低存儲增長帶來的成本的提升。智能數(shù)倉解決了大部分企業(yè)運維難的問題，真正做到企業(yè)大數(shù)據平臺的智能駕駛。

　　能力4：大數(shù)據AI場景化智能，為業(yè)務提速

　　大數(shù)據和AI的融合，不僅是通常說的可以給企業(yè)IT運營降本增效，還可以直接帶來業(yè)務的價值。

　　下面舉幾個例子來看，阿里云怎么利用大數(shù)據和AI的力量為企業(yè)帶來用戶增長，業(yè)務運營效率的提升，業(yè)務運營成本的下降，抑或是改進風控的效果。

　　首先是音視頻媒體的端上超分?；诎⒗镆呀涢_源多年的MNN端上推理框架，結合在算法推理上沉淀多年的優(yōu)化經驗，構建了端上超分的算法應用在幫助用戶提升體驗的同時，最大可能的節(jié)省了計算、存儲、網絡資源。

　　音視頻媒體的觀看體驗和流暢度帶來的用戶留存以及CDN和GPU的計算、存儲資源成本是任何一家互聯(lián)網內容提供商在業(yè)務運營的時候都需要考慮的非常重要的兩個指標。

　　經過實際客戶的驗證數(shù)據顯示，我們可以幫助客戶節(jié)省44%到75%的CDN內容分發(fā)成本，同時帶來1%的觀看時長的提升。

　　這兩個指標隨著用戶數(shù)的增加，給企業(yè)帶來不斷提升的業(yè)務運營效率。同時把很多云端的大規(guī)模推理計算分散到了端側，大大節(jié)省了企業(yè)的運營成本。

　　其次是大數(shù)據與AI的軟硬件協(xié)同優(yōu)化。PAI - Eflops 很好的解決了客戶在深度學習訓練或者推理加速中的痛點，通過軟硬件協(xié)同優(yōu)化，幫助客戶把AI算力的投資轉化為更加高效的生產力。

　　通過多項專利保護的集群網絡優(yōu)化技術，大規(guī)模分布式模型訓練中的內存管理技術，自研的vGPU技術，多年沉淀的大規(guī)模分布式模型訓練和優(yōu)化框架，以及端到端的模型管理，監(jiān)控和運維技術，PAI-Eflops幫助很多客戶在特定的場景下將軟硬協(xié)同的優(yōu)勢發(fā)揮到極致，在金融量化模型，互聯(lián)網智能搜索等AI密集型應用的場景下，我們可以通過將復雜神經網絡的參數(shù)傳遞性能提升3到7倍，提升GPU算力的應用效率，進而實現(xiàn)整體性能近百倍的提升。

　　模型訓練和推理的體驗與云上PAI的體驗完全一致，使得未來用戶可以享受到便捷的云上和線下聯(lián)邦建模等云邊一體化的AI體驗，節(jié)省自身IT更大規(guī)模的AI訓練集群的投入。

　　大部分互聯(lián)網企業(yè)最核心的問題就是保持用戶增長，從廣告營銷，到新用戶的LTV提升轉化，再到流失用戶的召回，這些都是業(yè)務管理上最為關注的關鍵性指標。

　　通過大數(shù)據平臺與AI建模能力的結合，我們可以通過智能算法的優(yōu)勢，幫助企業(yè)提升超過20%的廣告投放 RoI，提升5%以上的短信用戶召回的效率，精確的老客LTV評估可以助理精細化運營效率提升近30%。這些都直接為互聯(lián)網的企業(yè)帶來了業(yè)務上的明顯收益。

　　能力5：數(shù)據安全與隱私計算，為數(shù)據協(xié)同與共享保駕護航

　　數(shù)據協(xié)同成為技術發(fā)展的趨勢，數(shù)據安全與隱私計算成為大數(shù)據平臺必不可少的能力。

　　阿里云在大數(shù)據計算和分析的引擎中預置了多種安全計算的方式以及集團業(yè)務沉淀的常用的聯(lián)邦學習的算法，在端到端的數(shù)據鏈路上實現(xiàn)了數(shù)據訪問的可管，可控，可追溯。同時將超大規(guī)模分布式云原生架構與內置的 MPC，TEE，F(xiàn)L等技術緊密結合，利用DataWorks強大的數(shù)據開發(fā)和治理平臺的能力，將隱私計算的任務與所有其他的數(shù)據類任務進行聯(lián)合編排和管理，實現(xiàn)完整的企業(yè)級數(shù)據應用。

　　大數(shù)據+AI平臺的4S標準和3大特性

　　大數(shù)據與AI融合技術催生的場景化智能可以幫助客戶帶來業(yè)務價值，但是如何將這樣的價值低成本的在企業(yè)進行復制，就需要發(fā)揮云原生以及平臺層的力量。

　　通過平臺能力和場景化智能服務，企業(yè)可以方便改造業(yè)務工作流，在用戶增長，運營成本降低，運營效率改進，風控安全等等界面最終實現(xiàn)業(yè)務價值的提升。而平臺能力正是通過“深”，“通”，“透”三大特性來構建。

　　“深”意味著在很多的場景下，需要通過軟硬件協(xié)同的深度優(yōu)化來追求極致的場景性能。對雜亂無章，無源可循的數(shù)據進行深度的治理。在AI計算資源緊張的情況下，通過對算法框架的深度優(yōu)化，實現(xiàn)大模型訓練和推理的降本與提效。

　　“通”意味著大數(shù)據與AI分析聯(lián)通在一起，大數(shù)據更多的為AI應用所服務，而AI更多的依賴大數(shù)據系統(tǒng)。用戶自有的湖與倉可以很好的從存儲，元數(shù)據和計算層面進行聯(lián)通，真正做到一份數(shù)據，多樣化計算。通過聯(lián)邦學習和多方安全計算，實現(xiàn)數(shù)據確權情況下的安全互通。

　　“透”意味著很多可以開箱即用的場景化的智能，可以根據客戶的特定用戶場景，從數(shù)據，行業(yè)模型，行業(yè)分析模版，典型算法框架等層面沉淀具備行業(yè)屬性的場景化智能，從而實現(xiàn)從數(shù)據到業(yè)務的閉環(huán)。

　　與此同時，我們通過 “4S” 的標準來定義大數(shù)據與AI平臺。“4S”分別是：Scale，代表平臺必須可以承載大數(shù)據，大應用和大模型；Speed，平臺必須具備極致的運行，開發(fā)和運維的效率；Simplicity，平臺對外的程序接口或者是服務接口一定是標準，簡單，易懂，可以像函數(shù)般被調用；Scenario，最后一點也是最重要的一點，平臺能力向場景而生。

　　阿里云智能計算平臺幫助客戶打造的就是這樣的大數(shù)據與AI平臺，亦或是通過這樣的平臺為成千上萬的云上客戶提供便捷的云上服務。

　　目前為止，圍繞數(shù)據的全鏈路生命周期，經過多年阿里集團應用以及數(shù)十萬云上客戶打磨，阿里靈杰形成了一系列拳頭產品，包括大數(shù)據+AI平臺類產品（云原生大數(shù)據計算服務MaxCompute，開源大數(shù)據平臺EMR，數(shù)據湖構建DLF，大數(shù)據開發(fā)治理平臺DataWorks，實時數(shù)倉 Hologres，實時計算Flink版，機器學習平臺 PAI，智能搜索OpenSearch等），以及豐富的生態(tài)產品（DDI，Elasticsearch，Cloudera，Confluent，Starburst等）。

　　并且，阿里靈杰基于場景化需求，為用戶提供更多的開箱即用的標準化智能服務接口和場景化智能解決方案，幫助企業(yè)提升業(yè)務價值。目前，平臺已經深入到各行各業(yè)，為互聯(lián)網、金融、制造、電信、教育等不同行業(yè)的客戶帶來平臺催生的智能化變革。