《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 通信與網(wǎng)絡(luò) > 業(yè)界動(dòng)態(tài) > Hadoop 2:大數(shù)據(jù)演進(jìn)中的一次大飛躍

Hadoop 2:大數(shù)據(jù)演進(jìn)中的一次大飛躍

2013-10-23
來(lái)源:來(lái)源:網(wǎng)界網(wǎng)

 新的Hadoop不僅能夠進(jìn)一步刺激為Hadoop編寫(xiě)應(yīng)用程序,同時(shí)也將在Hadoop內(nèi)創(chuàng)造全新的數(shù)據(jù)處理方法,這在此前的架構(gòu)限制下是根本不可能實(shí)現(xiàn)的。總之,這是好東西。

 
一直以來(lái)是什么限制著Hadoop的發(fā)展?更重要的是,Hadoop的未來(lái)發(fā)展會(huì)是怎樣?
 
對(duì)于Hadoop的各種批評(píng)主要圍繞在其擴(kuò)展限制,而這里最大的問(wèn)題是其工作處理。Hadoop中的所有工作都是通過(guò)被稱(chēng)為JobTracker的守護(hù)程序進(jìn)行批處理,這制造了一個(gè)可擴(kuò)展性和處理速度的瓶頸。
 
而在Hadoop 2,這種JobTracker的方法已經(jīng)消失。Hadoop使用了全新的工作處理框架,使用兩個(gè)守護(hù)程序:ResourceManager—管理系統(tǒng)中的所有工作,以及NodeManager—在每個(gè)Hadoop節(jié)點(diǎn)上運(yùn)行,并讓ResourceManager知道節(jié)點(diǎn)上發(fā)生的情況。每個(gè)正在運(yùn)行的應(yīng)用程序也有自己的管理程序—ApplicationMaster。
 
MapReduce也與之前完全不同,Apache給了它一個(gè)全新的名稱(chēng):YARN,或者Yet Another Resource Negotiator,另一種資源協(xié)調(diào)者,新的MapReduce運(yùn)行作為其很多可能的組件之一。事實(shí)上,Apache聲稱(chēng),任何分布式應(yīng)用程序都可以在YARN上運(yùn)行,雖然需要一些移植。為此,Apache提供了一份與YARN兼容的應(yīng)用程序列表,例如社會(huì)圖標(biāo)分析系統(tǒng)Apache Giraph(Facebook在使用)。
 
Apache明智地決定不破壞向后兼容性,因此,MapReduce 2仍然將采用相同的API,現(xiàn)有的工作只需要重新編譯就能正常工作。
 
YARN讓Hadoop可以與其他Apache項(xiàng)目實(shí)現(xiàn)更多的跨平臺(tái)兼容性,來(lái)處理大數(shù)據(jù)。如果你使用其中一個(gè)平臺(tái),那么使用其他平臺(tái)就會(huì)變得更加容易。Hadoop的這種改進(jìn)將幫助推動(dòng)Apache的其他項(xiàng)目。
 
這里最大的改進(jìn)就是,MapReduce本身成為通過(guò)Hadoop挖掘數(shù)據(jù)的很多方式的一種。Apache自己的Spark(移植到Y(jié)ARN的另一種方式)可能比MapReduce更適合某些類(lèi)型的工作,Hadoop 2給了你更多選擇,讓你選擇最合適的引擎。
 
兩個(gè)大型供應(yīng)商Cloudera和Hortonworks對(duì)于YARN的重要性有著共同的看法,雖然他們從完全不同的方向使用Hadoop。Cloudera的Impala允許對(duì)HDFS存儲(chǔ)的數(shù)據(jù)運(yùn)行低延遲性SQL查詢(xún),這使其非常適合實(shí)時(shí)分析;而Hortonworks選擇使用Apache的原生Hive技術(shù),該技術(shù)非常適合大數(shù)據(jù)倉(cāng)庫(kù)操作(例如有很多連接型操作的長(zhǎng)時(shí)間運(yùn)行的查詢(xún))
 
移植應(yīng)用程序到Y(jié)ARN并不是簡(jiǎn)單的工作,Hadoop在這方面帶來(lái)的回報(bào)將取決于YARN在新框架內(nèi)的部署情況。Cloudera和Hortonworks都是Hadoop 2的堅(jiān)實(shí)支持者,他們并沒(méi)有轉(zhuǎn)向其他技術(shù)或者堅(jiān)持上一代技術(shù),從這一點(diǎn)來(lái)看,Hadoop 2并不只是煙霧或者上一代的鏡像。
本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀(guān)點(diǎn)。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無(wú)法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問(wèn)題,請(qǐng)及時(shí)通過(guò)電子郵件或電話(huà)通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話(huà):010-82306118;郵箱:aet@chinaaet.com。