近日,Elastic中國(guó)區(qū)總經(jīng)理王剛Galen、首席架構(gòu)師吳斌做客選型寶直播間,與CTO和CIO們分享企業(yè)如何實(shí)現(xiàn)PB級(jí)大數(shù)據(jù)實(shí)時(shí)處理。作為全球最流行的開(kāi)源數(shù)據(jù)搜索與實(shí)時(shí)分析技術(shù),Elastic數(shù)據(jù)平臺(tái)以靈活部署、平滑擴(kuò)展、安全性強(qiáng)、適用場(chǎng)景廣的特點(diǎn),在全文檢索、地理位置、全棧監(jiān)控、機(jī)器學(xué)習(xí)等各類(lèi)數(shù)據(jù)應(yīng)用場(chǎng)景中大顯身手,受到互聯(lián)網(wǎng)企業(yè)、金融電信乃至政府機(jī)構(gòu)的青睞。
Elastic Stack數(shù)據(jù)平臺(tái)由Logstash、Beats、ElasticSearch和Kibana四大核心產(chǎn)品組成,在數(shù)據(jù)攝取、存儲(chǔ)計(jì)算分析及數(shù)據(jù)可視化方面有著無(wú)可比擬的優(yōu)勢(shì)。首先,Logstash和Beats作為底層核心引擎組成數(shù)據(jù)攝取平臺(tái),可以將數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化,便于后續(xù)分析使用。其中,Beats作為輕量級(jí)的數(shù)據(jù)搬運(yùn)工,集合了多種單一用途數(shù)據(jù)采集器,將數(shù)據(jù)發(fā)送給Logstash或ElasticSearch,其可擴(kuò)展的框架及豐富的預(yù)置采集器將使工作事半功倍;Logstash 是開(kāi)源的服務(wù)器端數(shù)據(jù)處理管道,可同時(shí)從多個(gè)來(lái)源采集、轉(zhuǎn)換數(shù)據(jù),并將數(shù)據(jù)發(fā)送到存儲(chǔ)庫(kù)中。在存儲(chǔ)、計(jì)算和分析方面,ElasticSearch允許執(zhí)行和合并多種類(lèi)型的搜索,解決不斷涌現(xiàn)的各種用例,并具有極高的可用性及容錯(cuò)性,充分保障集群安全。Kibana作為用戶(hù)界面的核心,集成了豐富的可視化工具、界面交互開(kāi)發(fā)工具和管理工具,幫助開(kāi)發(fā)人員將數(shù)據(jù)輕松分享給任何人,甚至還能通過(guò)機(jī)器學(xué)習(xí)來(lái)監(jiān)測(cè)數(shù)據(jù)中的隱藏異常并追溯其來(lái)源。
以這四大核心產(chǎn)品為基礎(chǔ)構(gòu)建的Elastic數(shù)據(jù)平臺(tái)實(shí)現(xiàn)了數(shù)據(jù)實(shí)時(shí)性、相關(guān)性及擴(kuò)展性的完美結(jié)合,不僅可以處理各種數(shù)據(jù),還能深入挖掘數(shù)據(jù)的內(nèi)在關(guān)聯(lián)并迅速呈現(xiàn),徹底解決企業(yè)的大數(shù)據(jù)實(shí)時(shí)處理難題。
目前,Elastic數(shù)據(jù)平臺(tái)已廣泛應(yīng)用于各行各業(yè),客戶(hù)包括eBay、Facebook、Uber、微軟、思科、大眾汽車(chē)、攜程、招商銀行,聯(lián)想及政府機(jī)構(gòu)等。在開(kāi)源產(chǎn)品的核心功能之上,Elastic數(shù)據(jù)平臺(tái)為用戶(hù)提供系統(tǒng)安全、數(shù)據(jù)告警、全棧監(jiān)控、報(bào)表分析、圖查詢(xún)和機(jī)器學(xué)習(xí)六大付費(fèi)商業(yè)化的功能。以數(shù)據(jù)告警為例,Elastic數(shù)據(jù)平臺(tái)提供了基于時(shí)序性數(shù)據(jù)的告警、集群全局監(jiān)控和自動(dòng)生成報(bào)表等功能,幫助用戶(hù)迅速完成分析并做出決策,實(shí)現(xiàn)最大程度止損。Elastic數(shù)據(jù)平臺(tái)的機(jī)器學(xué)習(xí)及圖查詢(xún)特性可以自動(dòng)檢測(cè)當(dāng)前數(shù)據(jù)中的異常情況,逐級(jí)追溯至底層數(shù)據(jù),厘清數(shù)據(jù)關(guān)聯(lián),以圖的形式展示給用戶(hù)。
基于這六大功能,Elastic數(shù)據(jù)平臺(tái)在搜索、地理位置、內(nèi)部日志、數(shù)據(jù)指標(biāo)、安全監(jiān)控和APM應(yīng)用性能管理等場(chǎng)景頗具亮點(diǎn)。作為一個(gè)強(qiáng)大的分布式搜索引擎,Elastic數(shù)據(jù)平臺(tái)提供了對(duì)多種語(yǔ)言的支持,可以實(shí)現(xiàn)模糊查詢(xún)、詞根查詢(xún)及聯(lián)想查詢(xún),而不僅是全文快速檢索。如果用戶(hù)業(yè)務(wù)數(shù)據(jù)中存在地理位置信息,并疊加有其它多維數(shù)據(jù),Elastic數(shù)據(jù)平臺(tái)將應(yīng)用新型數(shù)據(jù)結(jié)構(gòu)進(jìn)行存儲(chǔ),從而實(shí)現(xiàn)高效檢索。當(dāng)用戶(hù)的手機(jī)端應(yīng)用遇到線(xiàn)上高并發(fā)的問(wèn)題時(shí),Elastic數(shù)據(jù)平臺(tái)可以快速拉起多個(gè)協(xié)調(diào)節(jié)點(diǎn)應(yīng)對(duì)數(shù)據(jù)高峰,且不必?fù)?dān)心性能問(wèn)題。在面對(duì)企業(yè)內(nèi)部日志時(shí),Elastic數(shù)據(jù)平臺(tái)中的Beats數(shù)據(jù)收集器將進(jìn)行統(tǒng)一管理,使用預(yù)置或度身定做的數(shù)據(jù)模型進(jìn)行分析,通過(guò)Kibana呈獻(xiàn)給終端用戶(hù)。此外,以各類(lèi)事件信息為基礎(chǔ),Elastic數(shù)據(jù)平臺(tái)提供了目前市場(chǎng)上獨(dú)有的APM應(yīng)用性能管理體系,可通過(guò)對(duì)全量數(shù)據(jù)的串聯(lián)分析輕松發(fā)現(xiàn)應(yīng)用的性能瓶頸。
為幫助訂閱用戶(hù)充分利用這些強(qiáng)大特性,Elastic不僅可為套件內(nèi)的商業(yè)特性提供指導(dǎo),亦可提供開(kāi)源部分的集群架構(gòu)設(shè)計(jì)、索引分片設(shè)計(jì)和集群整體性能優(yōu)化等服務(wù)。通過(guò)專(zhuān)家咨詢(xún)服務(wù)團(tuán)隊(duì),幫助客戶(hù)將Elastic數(shù)據(jù)平臺(tái)與自身業(yè)務(wù)快速融合。更提供了極具彈性的Elastic企業(yè)云服務(wù),通過(guò)與微軟Azure/亞馬遜/阿里云等合作,為用戶(hù)業(yè)務(wù)的快速增長(zhǎng)保駕護(hù)航。Elastic企業(yè)云可對(duì)資源全局進(jìn)行整體管理,在瞬息之間完成單節(jié)點(diǎn)的縱向擴(kuò)容或多個(gè)集群間的橫向擴(kuò)容。不僅大大簡(jiǎn)化了系統(tǒng)架構(gòu),提升了硬件利用率,滿(mǎn)足業(yè)務(wù)增長(zhǎng)需求,更憑借完整的安全機(jī)制和可靠的性能隔離策略最大化利用資源,直接節(jié)省運(yùn)營(yíng)費(fèi)用。
另外,Elastic還提供了專(zhuān)業(yè)工程師認(rèn)證服務(wù),以公開(kāi)課程及私塾培訓(xùn)等多種學(xué)習(xí)形式,幫助企業(yè)開(kāi)發(fā)人員升級(jí)進(jìn)階,化解實(shí)際應(yīng)用中的各類(lèi)難題,更增強(qiáng)自身的職場(chǎng)競(jìng)爭(zhēng)力。
自2012年成立以來(lái),Elastic以解決所有實(shí)時(shí)數(shù)據(jù)問(wèn)題為目標(biāo),逐步構(gòu)建出數(shù)據(jù)處理的完整生態(tài),為用戶(hù)提供了強(qiáng)大的開(kāi)源套件、豐富的拓展工具和專(zhuān)業(yè)的服務(wù)支持。2018年,Elastic成立中國(guó)獨(dú)資公司,貼身服務(wù)國(guó)內(nèi)用戶(hù)。目前,Elastic已于今年10月6日上市,員工達(dá)1100余名,訂閱客戶(hù)超5000家,產(chǎn)品的全球下載量突破3.5億次。