基于單元集群的MapReduce中節(jié)點(diǎn)失效的改進(jìn)
所屬分類：技術(shù)論文
上傳者：aet
文檔大?。?span>480 K
所需積分：0分積分不夠怎么辦？
文檔介紹：針對(duì)傳統(tǒng)MapReduce框架中任務(wù)節(jié)點(diǎn)和工作節(jié)點(diǎn)的失效問(wèn)題，提出了在配置備份節(jié)點(diǎn)的分層主從式MapReduce框架中加入單元集群的處理方法。在改進(jìn)框架中，任務(wù)處理的最小單位是單元集群，當(dāng)單元集群中的某個(gè)工作節(jié)點(diǎn)失效或者超過(guò)時(shí)間闕值時(shí)，子任務(wù)節(jié)點(diǎn)則選擇該單元集群中的空閑工作節(jié)點(diǎn)來(lái)分配任務(wù)，并且不需要重新傳輸任務(wù)文件分塊，這既節(jié)省了工作節(jié)點(diǎn)重選擇的時(shí)間，又降低了網(wǎng)絡(luò)傳輸?shù)膲毫?。使用該框架針?duì)不同數(shù)量的數(shù)據(jù)塊進(jìn)行實(shí)驗(yàn)，工作節(jié)點(diǎn)的災(zāi)難恢復(fù)時(shí)間均可以節(jié)省25 ms左右，證明了單元集群的處理方法可以有效解決工作節(jié)點(diǎn)的失效問(wèn)題。
現(xiàn)在下載
VIP會(huì)員，AET專家下載不扣分；重復(fù)下載不扣分，本人上傳資源不扣分。