《電子技術(shù)應(yīng)用》
您所在的位置：首頁(yè) > 通信與網(wǎng)絡(luò) > 設(shè)計(jì)應(yīng)用 > 多層概率決策的網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作融合算法
多層概率決策的網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作融合算法
2018年電子技術(shù)應(yīng)用第6期
曾康銘，吳 杏
南寧學(xué)院 信息工程學(xué)院，廣西 南寧530200
摘要： 為了改善網(wǎng)絡(luò)大數(shù)據(jù)傳輸效率及其精度，降低網(wǎng)絡(luò)數(shù)據(jù)傳輸負(fù)荷，基于多層概率網(wǎng)絡(luò)模型和聯(lián)合決策研究了一種網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作融合算法。首先，以復(fù)雜異構(gòu)多層網(wǎng)絡(luò)的數(shù)據(jù)采集與緩存為對(duì)象，以實(shí)時(shí)感知數(shù)據(jù)及其準(zhǔn)確處理為優(yōu)化目標(biāo)，設(shè)計(jì)了一種多層概率聯(lián)合決策模型。接著，通過(guò)主層-分層和信號(hào)強(qiáng)度進(jìn)行網(wǎng)絡(luò)大數(shù)據(jù)的多維描述，結(jié)合3步分解和三性融合，以逆變換去噪為驅(qū)動(dòng)，提出了網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作數(shù)據(jù)融合算法。最后，實(shí)驗(yàn)和仿真結(jié)果表明，與實(shí)驗(yàn)統(tǒng)計(jì)值相比，所提算法在數(shù)據(jù)融合精度和效率等方面具有明顯優(yōu)勢(shì)。
中圖分類(lèi)號(hào)： TP393
文獻(xiàn)標(biāo)識(shí)碼： A
DOI：10.16157/j.issn.0258-7998.174081
中文引用格式： 曾康銘，吳杏. 多層概率決策的網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作融合算法[J].電子技術(shù)應(yīng)用，2018，44(6)：133-137.
英文引用格式： Zeng Kangming，Wu Xing. The network big data cooperative fusion algorithm based on multi layer probabilistic joint decision[J]. Application of Electronic Technique，2018，44(6)：133-137.
The network big data cooperative fusion algorithm based on multi layer probabilistic joint decision
Zeng Kangming，Wu Xing
College of Information Engineering，Nanning University，Nanning 530200，China
Abstract： In order to improve the efficiency and accuracy of network large data transmission and reduce the network data transmission load, a network large data fusion algorithm based on multilayer probabilistic network model and joint decision making is studied. Firstly, based on the data acquisition and caching of complex heterogeneous multi-layer networks, a multi-level probabilistic joint decision model is designed, which takes real-time sensing data and its accurate processing as the optimization objective. Then, through the main layer stratification and the signal strength of multidimensional network big data description, combined with the three step decomposition and three fusion, driven by transform denoising, the network data collaboration data fusion algorithm is proposed. Finally, the experimental and simulation results show that the proposed algorithm has obvious advantages in terms of data fusion accuracy and efficiency compared with experimental statistics.
Key words : multi layer probability；joint decision；big data；network cooperation control；data fusion

0 引言

    復(fù)雜網(wǎng)絡(luò)控制與大數(shù)據(jù)傳輸已經(jīng)成為大數(shù)據(jù)質(zhì)量保障面臨的關(guān)鍵研究問(wèn)題[1]，特別是，復(fù)雜網(wǎng)絡(luò)時(shí)滯擴(kuò)散性[1]、同步控制[2]、應(yīng)急通信網(wǎng)絡(luò)的大數(shù)據(jù)分析[3]、空地跨域大數(shù)據(jù)通信[4-5]等問(wèn)題對(duì)大數(shù)據(jù)質(zhì)量的影響嚴(yán)重。為有效解決上述問(wèn)題，數(shù)據(jù)融合[6]被引入，并得到廣泛應(yīng)用[7]。不過(guò)，復(fù)雜網(wǎng)絡(luò)的大數(shù)據(jù)融合性能依然受到網(wǎng)絡(luò)復(fù)雜度、數(shù)據(jù)碰撞和外界干擾等因素[8]制約，這些問(wèn)題亟待解決。

    在充分考慮網(wǎng)絡(luò)狀況及服務(wù)器之間的通信關(guān)聯(lián)等基礎(chǔ)上，文獻(xiàn)[9]基于OpenFlow網(wǎng)絡(luò)控制器，集中管理網(wǎng)絡(luò)狀態(tài)信息，提出了基于OpenFlow網(wǎng)絡(luò)的數(shù)據(jù)中心服務(wù)器負(fù)載均衡策略，從而有效改善虛擬機(jī)遷移后網(wǎng)絡(luò)擁塞而影響系統(tǒng)性能。文獻(xiàn)[10]研究了具有隨機(jī)噪聲和隨機(jī)概率分布的隨機(jī)鏈路網(wǎng)絡(luò)的最優(yōu)控制問(wèn)題。為了應(yīng)對(duì)大數(shù)據(jù)的影響，文獻(xiàn)[11]將傳統(tǒng)的個(gè)人計(jì)算、通信和存儲(chǔ)系統(tǒng)結(jié)合起來(lái)，討論了一種有效的信息系統(tǒng)容量，以便在更有自由度的新范式下挖掘信息系統(tǒng)的潛力。文獻(xiàn)[12]首先提出了一個(gè)通用的建?？蚣埽枋隽嗽诖髷?shù)據(jù)流處理所有的任務(wù)關(guān)系語(yǔ)義間的代表，在此基礎(chǔ)上解決了通信成本最小化的問(wèn)題。文獻(xiàn)[13]提出了一種系統(tǒng)和自動(dòng)化的方法來(lái)建立一個(gè)混合的入侵檢測(cè)系統(tǒng)，學(xué)習(xí)基于時(shí)域的電力系統(tǒng)場(chǎng)景的規(guī)范，包括干擾、正?？刂撇僮骱途W(wǎng)絡(luò)攻擊等。文獻(xiàn)[14]所提出的區(qū)間自適應(yīng)加權(quán)波長(zhǎng)選擇算法采用多模型融合方案，通過(guò)減少波長(zhǎng)數(shù)量來(lái)精準(zhǔn)預(yù)測(cè)，自適應(yīng)優(yōu)化選擇波長(zhǎng)。在異構(gòu)信息空間中，文獻(xiàn)[15]通過(guò)查詢(xún)時(shí)間上下文關(guān)鍵字，研究了一種時(shí)間感知的查詢(xún)時(shí)實(shí)體識(shí)別與數(shù)據(jù)融合方法。

    在已有復(fù)雜網(wǎng)絡(luò)控制、大數(shù)據(jù)傳輸和數(shù)據(jù)融合的一系列研究基礎(chǔ)上，本文從多層概率模型、數(shù)據(jù)傳輸聯(lián)合決策和網(wǎng)絡(luò)寫(xiě)作控制等多維角度出發(fā)，研究了一種具有高傳輸精度、高傳輸效率和低數(shù)據(jù)融合誤差的網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作融合機(jī)制。

1 多層概率聯(lián)合決策模型

    復(fù)雜異構(gòu)多層網(wǎng)絡(luò)的數(shù)據(jù)采集與緩存機(jī)制以實(shí)時(shí)感知數(shù)據(jù)和準(zhǔn)確處理決策信息為核心，消除外界環(huán)境的冗余信息與各類(lèi)型干擾對(duì)網(wǎng)絡(luò)數(shù)據(jù)的質(zhì)量制約。但對(duì)于多層網(wǎng)絡(luò)的數(shù)據(jù)采集與傳輸概率控制和維護(hù)系統(tǒng)穩(wěn)定性的決策機(jī)制，成為網(wǎng)絡(luò)大數(shù)據(jù)融合的瓶頸問(wèn)題。

    首先，假設(shè)一個(gè)多層離散線性隨機(jī)網(wǎng)絡(luò)系統(tǒng)如式(1)所示：

jsj6-gs1-3.gif

jsj6-gs1-3-x1.gif

jsj6-t1.gif

jsj6-gs4-6.gif

其中，N表示多層網(wǎng)絡(luò)的分層數(shù)。

2 網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作融合算法

    基于多層概率聯(lián)合決策的網(wǎng)絡(luò)收集的大數(shù)據(jù)，從主層-分層角度出發(fā)采用S、L描述，如式（7）所示，還可以從信號(hào)強(qiáng)度出發(fā)采用H、M、L描述，如式（9）所示。

jsj6-gs7-10.gif

jsj6-t2.gif

    綜上所述，網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作融合算法實(shí)施過(guò)程如圖3所示。其中，根據(jù)分解3步進(jìn)行三性融合，結(jié)合聯(lián)合決策，以逆變換去噪為驅(qū)動(dòng)，實(shí)現(xiàn)協(xié)作數(shù)據(jù)融合。

jsj6-t3.gif

3 實(shí)驗(yàn)結(jié)果分析

    通過(guò)在200 m2的室內(nèi)環(huán)境部署50個(gè)傳感器節(jié)點(diǎn)，持續(xù)采集100小時(shí)的溫度數(shù)據(jù)為網(wǎng)絡(luò)大數(shù)據(jù)源。傳感器節(jié)點(diǎn)采用無(wú)源供電方式，會(huì)因電池耗盡而消亡，網(wǎng)絡(luò)拓?fù)鋾?huì)發(fā)生動(dòng)態(tài)變化。每個(gè)傳感器節(jié)點(diǎn)間隔10 s發(fā)送一次數(shù)據(jù)?？赏ㄟ^(guò)是否供電來(lái)激活傳感器節(jié)點(diǎn)。本文所提出的網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作融合算法記為CFA-MJD，偽代碼如下：

    jsj6-t3-x1.gif

jsj6-t3-x2.gif

    采用Java與C++相結(jié)合的方式實(shí)現(xiàn)上述算法，測(cè)試不同傳輸精度下的數(shù)據(jù)傳輸速率以及數(shù)據(jù)融合誤差。實(shí)驗(yàn)環(huán)境參數(shù)詳見(jiàn)表1。

jsj6-b1.gif

    圖4和圖5給出了兩種不同傳輸精度下所提出CFA-MJD算法的數(shù)據(jù)傳輸速率與實(shí)驗(yàn)速率統(tǒng)計(jì)值的對(duì)比結(jié)果。對(duì)比發(fā)現(xiàn)，當(dāng)傳輸精度為40%時(shí)，CFA-MJD算法的傳輸率與實(shí)驗(yàn)值較為接近；當(dāng)傳輸精度為90%時(shí)，CFA-MJD算法的傳輸率反而高于實(shí)驗(yàn)值。這表明，所提算法可以有效改進(jìn)網(wǎng)絡(luò)大數(shù)據(jù)傳輸率并且保障較高的傳輸精度。這是因?yàn)樗崴惴ú捎昧硕鄬与S機(jī)網(wǎng)絡(luò)架構(gòu)?；诜謱有盘?hào)干擾和局部不確定因素集，結(jié)合網(wǎng)絡(luò)整體信號(hào)傳輸優(yōu)化目標(biāo)需求，通過(guò)聯(lián)合決策保持了大數(shù)據(jù)的一致性，并有效降低了數(shù)據(jù)發(fā)生沖突的概率。

jsj6-t4.gif

jsj6-t5.gif

    圖6給出了服務(wù)器響應(yīng)延遲為5 s、10 s、15 s和20 s時(shí)，所提算法的數(shù)據(jù)融合誤差與實(shí)際統(tǒng)計(jì)誤差的對(duì)比結(jié)果。分析發(fā)現(xiàn)，所提算法所采用的在分層協(xié)作控制下對(duì)聯(lián)合決策下的接收信號(hào)yU分解即對(duì)yU按層還原，消除冗余信號(hào)和逐層更新yU，以及三性融合，確保了網(wǎng)絡(luò)大數(shù)據(jù)融合精度，并且可以很好地化解服務(wù)器大延遲造成的數(shù)據(jù)誤差。

jsj6-t6.gif

4 結(jié)束語(yǔ)

    復(fù)雜異構(gòu)網(wǎng)絡(luò)的大數(shù)據(jù)傳輸面臨著效率低下、精度難以得到保障等問(wèn)題，同時(shí)網(wǎng)絡(luò)數(shù)據(jù)傳輸負(fù)荷較大，導(dǎo)致資源利用率較低。為了有效解決上述問(wèn)題，本文提出了一種基于多層概率網(wǎng)絡(luò)模型和聯(lián)合決策的網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作融合算法。一方面，為多層網(wǎng)絡(luò)的數(shù)據(jù)源及其存儲(chǔ)控制建立實(shí)時(shí)感知和分層傳輸處理模型，在此基礎(chǔ)上提出一種具有多層概率協(xié)作的網(wǎng)絡(luò)大數(shù)據(jù)傳輸聯(lián)合決策模型；另一方面，從主層-分層和多層接收信號(hào)強(qiáng)度出發(fā)，給出了網(wǎng)絡(luò)大數(shù)據(jù)的多維描述，通過(guò)接收信號(hào)的3步分解和網(wǎng)絡(luò)的三性融合，提出了網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作數(shù)據(jù)融合算法。實(shí)驗(yàn)統(tǒng)計(jì)和仿真表明，所提算法可以有效改善網(wǎng)絡(luò)大數(shù)據(jù)融合精度、傳輸精度和網(wǎng)絡(luò)效率等性能。

參考文獻(xiàn)

[1] 羅毅平，周筆鋒.時(shí)滯擴(kuò)散性復(fù)雜網(wǎng)絡(luò)同步保性能控制[J].自動(dòng)化學(xué)報(bào)，2015，41(1)：147-156.

[2] 張崢，朱炫穎.復(fù)雜網(wǎng)絡(luò)同步控制的研究進(jìn)展[J].信息與控制，2017，46(1)：103-112.

[3] WANG J，WU Y，YEN N，et al.Big data analytics for emergency communication networks：a survey[J].IEEE Communications Surveys & Tutorials，2016，18(3)：1758-1778.

[4] XIONG G，ZHU F，DONG X，et al.A kind of novel ITS based on space-air-ground big-data[J].IEEE Intelligent Transportation Systems Magazine，2016，8(1)：10-22.

[5] LIN K，XIA F，WANG W，et al.System design for big data application in emotion-aware healthcare[J].IEEE Access，2016，4：6901-6909.

[6] CHIOU Y S，TSAI F.A reduced-complexity data-fusion algorithm using belief propagation for location tracking in heterogeneous observations[J].IEEE Transactions on Cybernetics，2014，44(6)：922.

[7] Liu Kaibo，CHEHADE A，Song Changyue.Optimize the signal quality of the composite health index via data fusion for degradation modeling and prognostic analysis[J].IEEE Transactions on Automation Science and Engineering，2017，14(3)：1504-1514.

[8] ALAM F，MEHMOOD R，KATIB I，et al.Data fusion and IoT for smart ubiquitous environments：a survey[J].IEEE Access，2017，5：9533-9551.

[9] 秦華，閻鋼.基于OpenFlow網(wǎng)絡(luò)的數(shù)據(jù)中心服務(wù)器負(fù)載均衡策略[J].計(jì)算機(jī)工程，2016，42(3)：130-137.

[10] GATTAMI A.Optimal network control with stochastic link variations and indefinite quadratic constraints[J].IEEE Transactions on Control of Network Systems，2017，4(2)：259-266.

[11] Fan Pingzhi.Coping with the big data：convergence of communications, computing and storage[J].China Communications，2016，13(9)：203-207.

[12] Gu Lin，Zeng Deze，Guo Song，et.al.A general communication cost optimization framework for big data stream processing in geo-distributed data centers[J].IEEE Transactions on Computers，2016，65(1)：19-29.

[13] PAN S，MORRIS T，ADHIKARI U.Developing a hybrid intrusion detection system using data mining for power systems[J].IEEE Transactions on Smart Grid，2015，6(6)：3104-3113.

[14] 陳曉輝，黃劍.基于iPLS和CARS數(shù)據(jù)融合技術(shù)的波長(zhǎng)選擇算法[J].計(jì)算機(jī)工程與應(yīng)用，2016，52(16)：229-232.

[15] 楊丹，陳默，王剛，等.異構(gòu)信息空間中時(shí)間感知的查詢(xún)時(shí)實(shí)體識(shí)別與數(shù)據(jù)融合[J].計(jì)算機(jī)科學(xué)，2017，44(3)：215-219.



作者信息:

曾康銘，吳  杏

(南寧學(xué)院 信息工程學(xué)院，廣西 南寧530200)

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。