《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 通信與網(wǎng)絡(luò) > 設(shè)計(jì)應(yīng)用 > 云、融合與開(kāi)源:構(gòu)筑BI未來(lái)
云、融合與開(kāi)源:構(gòu)筑BI未來(lái)
于翔
來(lái)源:網(wǎng)界網(wǎng)
摘要: 受經(jīng)濟(jì)危機(jī)的影響,BI(商業(yè)智能)市場(chǎng)增速放緩。不過(guò)在云計(jì)算、數(shù)據(jù)管理的融合趨勢(shì),以及開(kāi)源浪潮的影響之下,BI開(kāi)始釋放出嶄新的活力與激情。未來(lái)十年,變革與創(chuàng)新有望締造一個(gè)全新的BI世界。
關(guān)鍵詞: BI SaaS 開(kāi)源 云計(jì)算
Abstract:
Key words :

受經(jīng)濟(jì)危機(jī)的影響,BI(商業(yè)智能)市場(chǎng)增速放緩。不過(guò)在云計(jì)算、數(shù)據(jù)管理的融合趨勢(shì),以及開(kāi)源浪潮的影響之下,BI開(kāi)始釋放出嶄新的活力與激情。未來(lái)十年,變革與創(chuàng)新有望締造一個(gè)全新的BI世界。
經(jīng)濟(jì)危機(jī)對(duì)于各個(gè)IT領(lǐng)域造成的影響不盡相同。一方面,緊縮的IT預(yù)算反而激發(fā)了一些與管理、自動(dòng)化相關(guān)的IT需求;但另一方面,包括BI在內(nèi),一些與業(yè)務(wù)數(shù)據(jù)深度挖掘與處理的需求開(kāi)始放緩。據(jù)Gartner
在2010年4月發(fā)布的《2009年全球市場(chǎng)份額:商業(yè)智能、分析和績(jī)效管理軟件》調(diào)查報(bào)告顯示,與2008年相比,整個(gè)BI市場(chǎng)規(guī)模在2009年增長(zhǎng)了4.2%,達(dá)到近93億美元。其中,BI平臺(tái)占全球BI軟件收入的64.2%,全面績(jī)效管理(CPM)套件占20.8%的比例,而分析應(yīng)用和績(jī)效管理軟件各占了總市場(chǎng)的15%。而在2009年,SAP依然占據(jù)全球BI市場(chǎng)的頭把交椅,其BI軟件總收入約為21億美元。
Gartner認(rèn)為,2009年BI市場(chǎng)增幅與2008年相比明顯下降的事實(shí)表明,BI市場(chǎng)尚未擺脫經(jīng)濟(jì)危機(jī)所帶來(lái)的負(fù)面影響。雖然BI是企業(yè)常用的IT工具之一,但保持兩位數(shù)強(qiáng)勢(shì)增長(zhǎng)的歲月可能一去不復(fù)返了。剖析BI市場(chǎng)增長(zhǎng)放緩的原因,該領(lǐng)域近期發(fā)生的連續(xù)并購(gòu)、技術(shù)的成熟,以及因充分競(jìng)爭(zhēng)導(dǎo)致的價(jià)格下降,應(yīng)是造成這一局面的主要原因。但是作為一個(gè)持續(xù)穩(wěn)步成長(zhǎng)的市場(chǎng),BI本身仍蘊(yùn)含著強(qiáng)大的更新與延展能力。尤其是在技術(shù)創(chuàng)新方面,伴隨著整體IT技術(shù)的演進(jìn),BI不斷探索新的發(fā)展空間。與此同時(shí),該領(lǐng)域內(nèi)高密度的大額并購(gòu)(重要的收購(gòu)事件包括甲骨文收購(gòu)Hyperion,IBM收購(gòu)Cognos和SPSS,以及SAP收購(gòu)Sybase),賦予了BI在產(chǎn)品及解決方案層面廣闊的縱向擴(kuò)展空間。此外,在大型BI供應(yīng)商巨型的身影之下,還游弋著許多技術(shù)創(chuàng)新和產(chǎn)品差異化的機(jī)會(huì),等待新興BI廠商捕捉。
成熟并不代表著老去,也不意味著止步不前。事實(shí)上,BI技術(shù)仍然擁有向前演進(jìn)的澎湃動(dòng)力,而它每一次的創(chuàng)新步伐都與IT產(chǎn)業(yè)的整體推進(jìn)密不可分。

BI新趨勢(shì)1:SaaS BI的崛起
2010年2月,BI市場(chǎng)的老大SAP推出了SaaS BI解決方案——SAP BusinessObjects BI OnDemand。該產(chǎn)品能與Salesforce.com的CRM緊密集成,對(duì)用戶的CRM數(shù)據(jù)進(jìn)行分析和挖掘。SAP BusinessObjects BI
OnDemand面向中小企業(yè)用戶,以及大企業(yè)中偶有簡(jiǎn)單BI需求業(yè)務(wù)人員,具有快速部署、簡(jiǎn)單易用等特點(diǎn)。價(jià)格方面,該產(chǎn)品提供了相對(duì)靈活的定價(jià)模式,包含個(gè)人免費(fèi)版、基本版和高級(jí)版三個(gè)版本。在歐洲,其基本版和高級(jí)版的定價(jià)分別為每用戶每月20歐元和60歐元。
SAP用實(shí)際行動(dòng)吹響了主流傳統(tǒng)BI供應(yīng)商投身SaaS BI這一新興市場(chǎng)的號(hào)角。在此之前,該領(lǐng)域只聚集了小規(guī)模的新興公司,例如Birst、PivotLink、Good Data、Indicee等。讓人有些遺憾的是,SaaS BI市場(chǎng)的開(kāi)拓者之一LucidEra公司,已經(jīng)在2009年6月宣布停止運(yùn)營(yíng),相繼退出該市場(chǎng)的還有BlinkLogic等公司。這證明了新生市場(chǎng)競(jìng)爭(zhēng)的殘酷性。在從傳統(tǒng)BI廠商遺留的市場(chǎng)空間中奪取可觀收入的同時(shí),新生代之間原始而殘酷的競(jìng)爭(zhēng)讓人窒息。
好在這段混沌時(shí)期已經(jīng)過(guò)去,SaaS BI的投資價(jià)值和市場(chǎng)可見(jiàn)度顯著增加。從一定意義上講,2010年是SaaSBI與本地運(yùn)行的傳統(tǒng)BI開(kāi)始抗衡、并躋身主流應(yīng)用的元年。從產(chǎn)品的功能性角度分析,SaaS BI工具提供了令人稱(chēng)道的可用性、協(xié)作性和易用性,讓用戶在不借助過(guò)多IT支持的情況下,輕松使用BI功能。此舉有望大幅擴(kuò)充BI的使用群體。傳統(tǒng)的BI工具太過(guò)昂貴,且使用過(guò)程復(fù)雜,IT部門(mén)往往只針對(duì)關(guān)鍵業(yè)務(wù)部門(mén)的領(lǐng)導(dǎo)層及企業(yè)決策層定制開(kāi)發(fā)報(bào)表分析等應(yīng)用,大多數(shù)的業(yè)務(wù)員工被排除在BI用戶群體之外。
在現(xiàn)階段,用戶如果使用SaaS BI,通常需要先把數(shù)據(jù)按照約定格式上傳給服務(wù)商,由服務(wù)商使用合適的數(shù)據(jù)建模處理數(shù)據(jù),生成一個(gè)Web界面,用戶可以以此為基礎(chǔ)進(jìn)行查詢(xún)等操作,或者生成報(bào)表或儀表盤(pán)。不同廠商提供的SaaS BI服務(wù)存在功能上的差別,有些服務(wù)支持隨機(jī)查詢(xún),有些服務(wù)則支持其他SaaS應(yīng)用(例如Salesforce.com的CRM應(yīng)用)利用BI的計(jì)算結(jié)果。還有一些更為專(zhuān)業(yè)的廠商,提供諸如數(shù)據(jù)集成、ETL(數(shù)據(jù)抽取/轉(zhuǎn)換/加載)等服務(wù)。就目前的SaaS BI服務(wù)模式而言,用戶業(yè)務(wù)數(shù)據(jù)的安全性與集成的準(zhǔn)確度是用戶近期關(guān)心的熱點(diǎn)問(wèn)題,也是SaaS BI服務(wù)供應(yīng)商需要重點(diǎn)改進(jìn)與完善的領(lǐng)域。

BI新趨勢(shì)2:向云遷移
SaaS BI的流行可以看作是BI向云遷移的一個(gè)步驟或環(huán)節(jié)。雖然不同的BI供應(yīng)商的說(shuō)法有所區(qū)別,但向SaaS的轉(zhuǎn)型和向云的遷移在方向上是基本一致的。雖然在目前,大多數(shù)的機(jī)構(gòu)都是在內(nèi)部解決BI問(wèn)題,但是在未來(lái)的三年中,這一狀況有望徹底改觀。
一項(xiàng)在2010年5月進(jìn)行的CIO調(diào)查發(fā)現(xiàn),約有五分之一(23%)的受訪者預(yù)計(jì),云或SaaS(軟件即服務(wù))將在三年內(nèi)成為其主要的BI解決方案。這比當(dāng)前7%的水平有了大幅度提升。此項(xiàng)調(diào)查涉及335位在企業(yè)內(nèi)部使用BI和分析工具的CIO。其中,無(wú)線聯(lián)網(wǎng)服務(wù)商Enfora公司的CIO Steve Pike表示,其所在的公司已經(jīng)將客戶服務(wù)和支持遷移到了基于云的解決方案中。“遷移過(guò)程很簡(jiǎn)單,而且平臺(tái)的敏捷性很高。你可以迅速看到成果,并且使用其中的信息。”他說(shuō)。
不過(guò),盡管云BI解決方案的潛力巨大,但企業(yè)內(nèi)部的BI解決方案仍然占據(jù)著支配地位。調(diào)查還顯示,有93%的受訪問(wèn)者仍在使用企業(yè)內(nèi)部的BI工具,而且有77%的受訪者預(yù)計(jì),將在未來(lái)的1~3年中繼續(xù)使用內(nèi)部BI工具。也有企業(yè)的CIO堅(jiān)稱(chēng),將繼續(xù)沿用內(nèi)部解決方案。他們給出的理由是,企業(yè)擁有太多的異構(gòu)系統(tǒng),要想部署云會(huì)非常困難。

盡管BI向云遷移的過(guò)程中還面臨許多的問(wèn)題,但隨著越來(lái)越多的企業(yè)將其業(yè)務(wù)應(yīng)用置于云端,“在云中部署B(yǎng)I”絕不是一個(gè)遙不可及的目標(biāo)。在數(shù)據(jù)集成領(lǐng)域,專(zhuān)業(yè)廠商Informatica已經(jīng)進(jìn)行了向用戶交付云服務(wù)的嘗試。2010年6月,Informatica Cloud 2010夏季版全面上市。此前該公司發(fā)布的Informatica 9數(shù)據(jù)集成平臺(tái)已經(jīng)能夠同時(shí)部署在預(yù)裝系統(tǒng)或“云”網(wǎng)絡(luò)之中,為用戶提供云端集成能力。Informatica Cloud 2010夏季版則通過(guò)支持云計(jì)算數(shù)據(jù)質(zhì)量和B2B數(shù)據(jù)轉(zhuǎn)換的配套插件,再度拓展Informatica的云數(shù)據(jù)集成服務(wù)。據(jù)Informatica提供的統(tǒng)計(jì)數(shù)據(jù)顯示,目前Informatica Cloud的用戶已經(jīng)超過(guò)600家,這些企業(yè)一天需要運(yùn)行超過(guò)30萬(wàn)個(gè)集成作業(yè),在系統(tǒng)間每月集成超過(guò)60億行信息。
基于云的BI要完全替代傳統(tǒng)BI還要假以時(shí)日,但云計(jì)算在全球的盛行,必將對(duì)BI向云的遷移進(jìn)程產(chǎn)生積極的影響。有分析人士指出,BI領(lǐng)域內(nèi)充分的競(jìng)爭(zhēng)導(dǎo)致了價(jià)格的下降,這也意味著該領(lǐng)域的參與者正面臨更為激烈的競(jìng)爭(zhēng)局面。云的重要性已經(jīng)能夠影響到BI廠商未來(lái)的生存。從一定意義上說(shuō),只有產(chǎn)品是面向云規(guī)模架構(gòu)設(shè)計(jì)、并符合云運(yùn)營(yíng)模式的廠商才能在未來(lái)取得成功。因?yàn)樵谠频倪\(yùn)營(yíng)模式下,每增加一個(gè)客戶廠商所付出的成本趨近于零,這無(wú)疑將為BI供應(yīng)商帶來(lái)豐厚的收益。
BI新趨勢(shì)3:融合,再融合
數(shù)據(jù)質(zhì)量、數(shù)據(jù)集成和數(shù)據(jù)虛擬化將與主數(shù)據(jù)管理融合,構(gòu)成處理結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一信息管理平臺(tái)。眾所周知,數(shù)據(jù)質(zhì)量自數(shù)據(jù)管理系統(tǒng)出現(xiàn)以來(lái),一直是IT系統(tǒng)的一大痛處。它困擾著許多企業(yè)的CIO和IT人員,造成系統(tǒng)部署、生產(chǎn)力和時(shí)間成本上的巨大損失。從技術(shù)的發(fā)展趨勢(shì)上分析,數(shù)據(jù)質(zhì)量和數(shù)據(jù)集成將實(shí)現(xiàn)更為緊密的整合,從而在底層解決數(shù)據(jù)質(zhì)量的問(wèn)題,讓正確、純凈的數(shù)據(jù)進(jìn)入應(yīng)用的下游。
SAP BusinessObjects、SAS、Informatica及Talend等公司目前都可以在某種程度上提供上述能力。此外,由于企業(yè)中的數(shù)據(jù)源呈現(xiàn)爆炸式增長(zhǎng),為了能夠把所有數(shù)據(jù)源集成到單一物理位置,并保持存取的靈活性,Composite等廠商為客戶提供數(shù)據(jù)虛擬化能力。借助這種能力,規(guī)范的信息模型可以覆蓋在信息資產(chǎn)的頂部,不管這些信息資產(chǎn)位于何處,規(guī)范的信息模型都能夠處理批量、實(shí)時(shí)和事件數(shù)據(jù)源組合。這些全異的數(shù)據(jù)源必須通過(guò)主數(shù)據(jù)管理能力來(lái)協(xié)調(diào)。通過(guò)這種能力,客戶、供應(yīng)商、產(chǎn)品等企業(yè)中的關(guān)鍵實(shí)現(xiàn)定義可以被用于提供這些分散的數(shù)據(jù)源之上的語(yǔ)義統(tǒng)一。最后,結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的信息,都能利用文本分析能力和數(shù)據(jù)虛擬化技術(shù),從一個(gè)無(wú)處不在的信息管理平臺(tái)實(shí)現(xiàn)數(shù)據(jù)的提取、轉(zhuǎn)換、加載與查詢(xún)。
BI世界醞釀融合的另一趨勢(shì)是,有越來(lái)越多的數(shù)據(jù)挖掘、預(yù)測(cè)分析能力被引入到數(shù)據(jù)庫(kù)系統(tǒng)之中?;仡櫄v史,雖然以分析為中心的OLAP(聯(lián)機(jī)分析處理)數(shù)據(jù)庫(kù)已經(jīng)問(wèn)世幾十年(以甲骨文Express、Hyperion
Essbase和微軟的Analysis Services為代表),但是它們從未在數(shù)據(jù)庫(kù)市場(chǎng)真正占據(jù)統(tǒng)治地位。過(guò)去的數(shù)十年,RDBMS(關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng))一直是市場(chǎng)的主宰,應(yīng)用的類(lèi)型似乎并不重要,關(guān)系型數(shù)據(jù)庫(kù)才是核心與關(guān)鍵。然而,在今天的海量數(shù)據(jù)時(shí)代,傳統(tǒng)數(shù)據(jù)管理的顛覆與變革已經(jīng)無(wú)法回避。Google(BigTable)、Yahoo(Hadoop)、Amazon(Dynamo)、Facebook(Cassandra)等大型Web廠商紛紛自行開(kāi)發(fā)解決方案,以處理由互聯(lián)網(wǎng)應(yīng)用產(chǎn)生的海量數(shù)據(jù)。另一方面,專(zhuān)注于分析性工作負(fù)載的數(shù)據(jù)庫(kù)產(chǎn)品正在形成集群效應(yīng)。掌握內(nèi)存處理、利用并行機(jī)制、柱狀存儲(chǔ)選擇等創(chuàng)新技術(shù)的Netezza、Greenplum、Vertica、Aster Data等新興廠商不斷發(fā)展壯大。
在這些新的數(shù)據(jù)庫(kù)產(chǎn)品的引擎中,具備了可編程性和并行處理能力。這種可編程能力讓開(kāi)發(fā)人員能夠?qū)⒂?jì)算遷移到數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)內(nèi)部,避免了因數(shù)據(jù)遷移所造成的響應(yīng)緩慢問(wèn)題。另外,配合并行、大規(guī)模并行處理(MPP)架構(gòu)的性能和擴(kuò)展性?xún)?yōu)勢(shì),用戶可以獲得高吞吐零,以及用于欺詐探測(cè)、風(fēng)險(xiǎn)管理等目的的運(yùn)營(yíng)分析能力。其中,Netezza為用戶提供軟硬一體的數(shù)據(jù)倉(cāng)庫(kù)設(shè)備。對(duì)于BI的開(kāi)發(fā)者而言,基于這一整合環(huán)境無(wú)需進(jìn)行系統(tǒng)配置和物理建模,無(wú)需鉆研數(shù)據(jù)模型,即可執(zhí)行數(shù)據(jù)分析任務(wù)。Greenplum和Aster Data同樣是MPP數(shù)據(jù)倉(cāng)庫(kù)市場(chǎng)的生力軍。其技術(shù)都基于MapReduce并行處理框架,后者是谷歌用于實(shí)現(xiàn)索引和搜索擴(kuò)展性的技術(shù)。MapReduce是一個(gè)開(kāi)源的Apache Hadoop項(xiàng)目,它是Hbase開(kāi)源、分布式、列存儲(chǔ)數(shù)據(jù)庫(kù)系統(tǒng)的基礎(chǔ)。
BI新趨勢(shì)4:開(kāi)源BI進(jìn)入成熟期
采用本地運(yùn)行模式的傳統(tǒng)BI面臨的不僅面臨著云或SaaS應(yīng)用模式的沖擊,開(kāi)源BI同樣也是一個(gè)關(guān)鍵的顛覆者。開(kāi)源BI的開(kāi)發(fā)者希望改寫(xiě)閉源、傳統(tǒng)BI占統(tǒng)治地位的市場(chǎng)格局,而他們已經(jīng)在這條道路上付出了長(zhǎng)期的努力。
經(jīng)濟(jì)危機(jī)及其引發(fā)的持續(xù)經(jīng)濟(jì)低迷,為開(kāi)源BI提供了發(fā)展的良機(jī)。面對(duì)緊縮的IT預(yù)算,很多企業(yè)發(fā)現(xiàn),基于開(kāi)源BI的數(shù)據(jù)分析、報(bào)表制作或數(shù)據(jù)集成,能夠讓它們以有限的資金高效率地解決實(shí)際問(wèn)題。這也正是Pentaho、JasperSoft等公司近年來(lái)以遠(yuǎn)超過(guò)行業(yè)平均值的增長(zhǎng)速度發(fā)展壯大的原因所在。
借助開(kāi)源BI解決方案,用戶可以以構(gòu)建傳統(tǒng)BI應(yīng)用幾分之一的費(fèi)用搭建完整到端到端BI棧,而這種選擇還可以獲得良好的自上而下的采用率。這應(yīng)該是企業(yè)應(yīng)對(duì)嚴(yán)酷經(jīng)濟(jì)形勢(shì)的一種生存之道。而在端到端的BI棧中,很多產(chǎn)品已經(jīng)達(dá)到或接近了閉源BI工具的應(yīng)用成熟度水平。在報(bào)表、OLAP、數(shù)據(jù)統(tǒng)計(jì)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)集成、主數(shù)據(jù)管理等領(lǐng)域,企業(yè)用戶均可以找到經(jīng)濟(jì)、高效的開(kāi)源BI工具(市場(chǎng)上主要開(kāi)源BI工具如附表所示)。
【編看編想】
更廣闊的BI世界
本報(bào)記者 于翔
數(shù)據(jù)的爆炸式增長(zhǎng),以及針對(duì)海量數(shù)據(jù)的分析需求,讓BI的市場(chǎng)版圖持續(xù)擴(kuò)充,并將由此導(dǎo)致整個(gè)技術(shù)疆界的再定義。今天,電子郵件、文檔、視頻等半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)被納入到BI的勢(shì)力范圍中,同時(shí)自助式報(bào)表和混搭應(yīng)用變得更加普及,BI將從一種IT活動(dòng)演變?yōu)橐环N受到業(yè)務(wù)用戶驅(qū)動(dòng)而演進(jìn)的應(yīng)用方式。
在互聯(lián)網(wǎng)時(shí)代,其海量數(shù)據(jù)多向交互的特性有望激發(fā)更多的BI技術(shù)創(chuàng)新,云BI、混搭和高級(jí)可視化技術(shù)已經(jīng)出現(xiàn),并積極融入主流的BI應(yīng)用之中。而數(shù)據(jù)量級(jí)的增長(zhǎng)速度是十分驚人的。TB字已經(jīng)是過(guò)去式,PB字節(jié)即將成為主流,而EB(Exabytes)和ZB(Zettabytes)字節(jié)也開(kāi)始出現(xiàn)了。面對(duì)如此龐大的數(shù)據(jù)量,機(jī)構(gòu)必須嘗試全新的處理技術(shù),例如專(zhuān)用設(shè)備、柱狀數(shù)據(jù)庫(kù)和Hadoop這樣的分布式應(yīng)用。
另外,BI技術(shù)的演進(jìn)并非僅駐留在內(nèi)部數(shù)據(jù)中心或云端,移動(dòng)分析也是一個(gè)重要的發(fā)展方向。2010年,全球移動(dòng)用戶數(shù)量已經(jīng)突破50億。目前,領(lǐng)先的商業(yè)BI廠商紛紛涉足移動(dòng)分析市場(chǎng)?;谝苿?dòng)BI技術(shù),用戶可以通過(guò)智能手機(jī)提交數(shù)據(jù),并獲取分析報(bào)告。而具備了GPS功能的智能手機(jī)還能夠?qū)?ldquo;位置”信息引入BI,為數(shù)據(jù)分析增加了新的維度。
此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。