《電子技術應用》
您所在的位置：首頁 > 通信與網(wǎng)絡 > 設計應用 > 多層概率決策的網(wǎng)絡大數(shù)據(jù)協(xié)作融合算法
多層概率決策的網(wǎng)絡大數(shù)據(jù)協(xié)作融合算法
2018年電子技術應用第6期
曾康銘，吳 杏
南寧學院 信息工程學院，廣西 南寧530200
摘要： 為了改善網(wǎng)絡大數(shù)據(jù)傳輸效率及其精度，降低網(wǎng)絡數(shù)據(jù)傳輸負荷，基于多層概率網(wǎng)絡模型和聯(lián)合決策研究了一種網(wǎng)絡大數(shù)據(jù)協(xié)作融合算法。首先，以復雜異構(gòu)多層網(wǎng)絡的數(shù)據(jù)采集與緩存為對象，以實時感知數(shù)據(jù)及其準確處理為優(yōu)化目標，設計了一種多層概率聯(lián)合決策模型。接著，通過主層-分層和信號強度進行網(wǎng)絡大數(shù)據(jù)的多維描述，結(jié)合3步分解和三性融合，以逆變換去噪為驅(qū)動，提出了網(wǎng)絡大數(shù)據(jù)協(xié)作數(shù)據(jù)融合算法。最后，實驗和仿真結(jié)果表明，與實驗統(tǒng)計值相比，所提算法在數(shù)據(jù)融合精度和效率等方面具有明顯優(yōu)勢。
中圖分類號： TP393
文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.174081
中文引用格式： 曾康銘，吳杏. 多層概率決策的網(wǎng)絡大數(shù)據(jù)協(xié)作融合算法[J].電子技術應用，2018，44(6)：133-137.
英文引用格式： Zeng Kangming，Wu Xing. The network big data cooperative fusion algorithm based on multi layer probabilistic joint decision[J]. Application of Electronic Technique，2018，44(6)：133-137.
The network big data cooperative fusion algorithm based on multi layer probabilistic joint decision
Zeng Kangming，Wu Xing
College of Information Engineering，Nanning University，Nanning 530200，China
Abstract： In order to improve the efficiency and accuracy of network large data transmission and reduce the network data transmission load, a network large data fusion algorithm based on multilayer probabilistic network model and joint decision making is studied. Firstly, based on the data acquisition and caching of complex heterogeneous multi-layer networks, a multi-level probabilistic joint decision model is designed, which takes real-time sensing data and its accurate processing as the optimization objective. Then, through the main layer stratification and the signal strength of multidimensional network big data description, combined with the three step decomposition and three fusion, driven by transform denoising, the network data collaboration data fusion algorithm is proposed. Finally, the experimental and simulation results show that the proposed algorithm has obvious advantages in terms of data fusion accuracy and efficiency compared with experimental statistics.
Key words : multi layer probability；joint decision；big data；network cooperation control；data fusion

0 引言

    復雜網(wǎng)絡控制與大數(shù)據(jù)傳輸已經(jīng)成為大數(shù)據(jù)質(zhì)量保障面臨的關鍵研究問題[1]，特別是，復雜網(wǎng)絡時滯擴散性[1]、同步控制[2]、應急通信網(wǎng)絡的大數(shù)據(jù)分析[3]、空地跨域大數(shù)據(jù)通信[4-5]等問題對大數(shù)據(jù)質(zhì)量的影響嚴重。為有效解決上述問題，數(shù)據(jù)融合[6]被引入，并得到廣泛應用[7]。不過，復雜網(wǎng)絡的大數(shù)據(jù)融合性能依然受到網(wǎng)絡復雜度、數(shù)據(jù)碰撞和外界干擾等因素[8]制約，這些問題亟待解決。

    在充分考慮網(wǎng)絡狀況及服務器之間的通信關聯(lián)等基礎上，文獻[9]基于OpenFlow網(wǎng)絡控制器，集中管理網(wǎng)絡狀態(tài)信息，提出了基于OpenFlow網(wǎng)絡的數(shù)據(jù)中心服務器負載均衡策略，從而有效改善虛擬機遷移后網(wǎng)絡擁塞而影響系統(tǒng)性能。文獻[10]研究了具有隨機噪聲和隨機概率分布的隨機鏈路網(wǎng)絡的最優(yōu)控制問題。為了應對大數(shù)據(jù)的影響，文獻[11]將傳統(tǒng)的個人計算、通信和存儲系統(tǒng)結(jié)合起來，討論了一種有效的信息系統(tǒng)容量，以便在更有自由度的新范式下挖掘信息系統(tǒng)的潛力。文獻[12]首先提出了一個通用的建?？蚣埽枋隽嗽诖髷?shù)據(jù)流處理所有的任務關系語義間的代表，在此基礎上解決了通信成本最小化的問題。文獻[13]提出了一種系統(tǒng)和自動化的方法來建立一個混合的入侵檢測系統(tǒng)，學習基于時域的電力系統(tǒng)場景的規(guī)范，包括干擾、正?？刂撇僮骱途W(wǎng)絡攻擊等。文獻[14]所提出的區(qū)間自適應加權波長選擇算法采用多模型融合方案，通過減少波長數(shù)量來精準預測，自適應優(yōu)化選擇波長。在異構(gòu)信息空間中，文獻[15]通過查詢時間上下文關鍵字，研究了一種時間感知的查詢時實體識別與數(shù)據(jù)融合方法。

    在已有復雜網(wǎng)絡控制、大數(shù)據(jù)傳輸和數(shù)據(jù)融合的一系列研究基礎上，本文從多層概率模型、數(shù)據(jù)傳輸聯(lián)合決策和網(wǎng)絡寫作控制等多維角度出發(fā)，研究了一種具有高傳輸精度、高傳輸效率和低數(shù)據(jù)融合誤差的網(wǎng)絡大數(shù)據(jù)協(xié)作融合機制。

1 多層概率聯(lián)合決策模型

    復雜異構(gòu)多層網(wǎng)絡的數(shù)據(jù)采集與緩存機制以實時感知數(shù)據(jù)和準確處理決策信息為核心，消除外界環(huán)境的冗余信息與各類型干擾對網(wǎng)絡數(shù)據(jù)的質(zhì)量制約。但對于多層網(wǎng)絡的數(shù)據(jù)采集與傳輸概率控制和維護系統(tǒng)穩(wěn)定性的決策機制，成為網(wǎng)絡大數(shù)據(jù)融合的瓶頸問題。

    首先，假設一個多層離散線性隨機網(wǎng)絡系統(tǒng)如式(1)所示：

jsj6-gs1-3.gif

jsj6-gs1-3-x1.gif

jsj6-t1.gif

jsj6-gs4-6.gif

其中，N表示多層網(wǎng)絡的分層數(shù)。

2 網(wǎng)絡大數(shù)據(jù)協(xié)作融合算法

    基于多層概率聯(lián)合決策的網(wǎng)絡收集的大數(shù)據(jù)，從主層-分層角度出發(fā)采用S、L描述，如式（7）所示，還可以從信號強度出發(fā)采用H、M、L描述，如式（9）所示。

jsj6-gs7-10.gif

jsj6-t2.gif

    綜上所述，網(wǎng)絡大數(shù)據(jù)協(xié)作融合算法實施過程如圖3所示。其中，根據(jù)分解3步進行三性融合，結(jié)合聯(lián)合決策，以逆變換去噪為驅(qū)動，實現(xiàn)協(xié)作數(shù)據(jù)融合。

jsj6-t3.gif

3 實驗結(jié)果分析

    通過在200 m2的室內(nèi)環(huán)境部署50個傳感器節(jié)點，持續(xù)采集100小時的溫度數(shù)據(jù)為網(wǎng)絡大數(shù)據(jù)源。傳感器節(jié)點采用無源供電方式，會因電池耗盡而消亡，網(wǎng)絡拓撲會發(fā)生動態(tài)變化。每個傳感器節(jié)點間隔10 s發(fā)送一次數(shù)據(jù)?？赏ㄟ^是否供電來激活傳感器節(jié)點。本文所提出的網(wǎng)絡大數(shù)據(jù)協(xié)作融合算法記為CFA-MJD，偽代碼如下：

    jsj6-t3-x1.gif

jsj6-t3-x2.gif

    采用Java與C++相結(jié)合的方式實現(xiàn)上述算法，測試不同傳輸精度下的數(shù)據(jù)傳輸速率以及數(shù)據(jù)融合誤差。實驗環(huán)境參數(shù)詳見表1。

jsj6-b1.gif

    圖4和圖5給出了兩種不同傳輸精度下所提出CFA-MJD算法的數(shù)據(jù)傳輸速率與實驗速率統(tǒng)計值的對比結(jié)果。對比發(fā)現(xiàn)，當傳輸精度為40%時，CFA-MJD算法的傳輸率與實驗值較為接近；當傳輸精度為90%時，CFA-MJD算法的傳輸率反而高于實驗值。這表明，所提算法可以有效改進網(wǎng)絡大數(shù)據(jù)傳輸率并且保障較高的傳輸精度。這是因為所提算法采用了多層隨機網(wǎng)絡架構(gòu)。基于分層信號干擾和局部不確定因素集，結(jié)合網(wǎng)絡整體信號傳輸優(yōu)化目標需求，通過聯(lián)合決策保持了大數(shù)據(jù)的一致性，并有效降低了數(shù)據(jù)發(fā)生沖突的概率。

jsj6-t4.gif

jsj6-t5.gif

    圖6給出了服務器響應延遲為5 s、10 s、15 s和20 s時，所提算法的數(shù)據(jù)融合誤差與實際統(tǒng)計誤差的對比結(jié)果。分析發(fā)現(xiàn)，所提算法所采用的在分層協(xié)作控制下對聯(lián)合決策下的接收信號yU分解即對yU按層還原，消除冗余信號和逐層更新yU，以及三性融合，確保了網(wǎng)絡大數(shù)據(jù)融合精度，并且可以很好地化解服務器大延遲造成的數(shù)據(jù)誤差。

jsj6-t6.gif

4 結(jié)束語

    復雜異構(gòu)網(wǎng)絡的大數(shù)據(jù)傳輸面臨著效率低下、精度難以得到保障等問題，同時網(wǎng)絡數(shù)據(jù)傳輸負荷較大，導致資源利用率較低。為了有效解決上述問題，本文提出了一種基于多層概率網(wǎng)絡模型和聯(lián)合決策的網(wǎng)絡大數(shù)據(jù)協(xié)作融合算法。一方面，為多層網(wǎng)絡的數(shù)據(jù)源及其存儲控制建立實時感知和分層傳輸處理模型，在此基礎上提出一種具有多層概率協(xié)作的網(wǎng)絡大數(shù)據(jù)傳輸聯(lián)合決策模型；另一方面，從主層-分層和多層接收信號強度出發(fā)，給出了網(wǎng)絡大數(shù)據(jù)的多維描述，通過接收信號的3步分解和網(wǎng)絡的三性融合，提出了網(wǎng)絡大數(shù)據(jù)協(xié)作數(shù)據(jù)融合算法。實驗統(tǒng)計和仿真表明，所提算法可以有效改善網(wǎng)絡大數(shù)據(jù)融合精度、傳輸精度和網(wǎng)絡效率等性能。

參考文獻

[1] 羅毅平，周筆鋒.時滯擴散性復雜網(wǎng)絡同步保性能控制[J].自動化學報，2015，41(1)：147-156.

[2] 張崢，朱炫穎.復雜網(wǎng)絡同步控制的研究進展[J].信息與控制，2017，46(1)：103-112.

[3] WANG J，WU Y，YEN N，et al.Big data analytics for emergency communication networks：a survey[J].IEEE Communications Surveys & Tutorials，2016，18(3)：1758-1778.

[4] XIONG G，ZHU F，DONG X，et al.A kind of novel ITS based on space-air-ground big-data[J].IEEE Intelligent Transportation Systems Magazine，2016，8(1)：10-22.

[5] LIN K，XIA F，WANG W，et al.System design for big data application in emotion-aware healthcare[J].IEEE Access，2016，4：6901-6909.

[6] CHIOU Y S，TSAI F.A reduced-complexity data-fusion algorithm using belief propagation for location tracking in heterogeneous observations[J].IEEE Transactions on Cybernetics，2014，44(6)：922.

[7] Liu Kaibo，CHEHADE A，Song Changyue.Optimize the signal quality of the composite health index via data fusion for degradation modeling and prognostic analysis[J].IEEE Transactions on Automation Science and Engineering，2017，14(3)：1504-1514.

[8] ALAM F，MEHMOOD R，KATIB I，et al.Data fusion and IoT for smart ubiquitous environments：a survey[J].IEEE Access，2017，5：9533-9551.

[9] 秦華，閻鋼.基于OpenFlow網(wǎng)絡的數(shù)據(jù)中心服務器負載均衡策略[J].計算機工程，2016，42(3)：130-137.

[10] GATTAMI A.Optimal network control with stochastic link variations and indefinite quadratic constraints[J].IEEE Transactions on Control of Network Systems，2017，4(2)：259-266.

[11] Fan Pingzhi.Coping with the big data：convergence of communications, computing and storage[J].China Communications，2016，13(9)：203-207.

[12] Gu Lin，Zeng Deze，Guo Song，et.al.A general communication cost optimization framework for big data stream processing in geo-distributed data centers[J].IEEE Transactions on Computers，2016，65(1)：19-29.

[13] PAN S，MORRIS T，ADHIKARI U.Developing a hybrid intrusion detection system using data mining for power systems[J].IEEE Transactions on Smart Grid，2015，6(6)：3104-3113.

[14] 陳曉輝，黃劍.基于iPLS和CARS數(shù)據(jù)融合技術的波長選擇算法[J].計算機工程與應用，2016，52(16)：229-232.

[15] 楊丹，陳默，王剛，等.異構(gòu)信息空間中時間感知的查詢時實體識別與數(shù)據(jù)融合[J].計算機科學，2017，44(3)：215-219.



作者信息:

曾康銘，吳  杏

(南寧學院 信息工程學院，廣西 南寧530200)

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權禁止轉(zhuǎn)載。