在安全和隱私保護需求的驅(qū)動下，網(wǎng)絡(luò)通信加密化已經(jīng)成為不可阻擋的趨勢。加密網(wǎng)絡(luò)流量呈現(xiàn)爆炸增長，給流量審計與網(wǎng)絡(luò)空間治理帶來了挑戰(zhàn)。盡管機器學(xué)習(xí)已解決了部分加密流量識別的問題，但仍存在無法自動提取特征等局限。深度學(xué)習(xí)可以自動提取更本質(zhì)、更有效的特征，已被用于加密流量識別，并取得了高精度?；谏疃葘W(xué)習(xí)的加密流量識別的相關(guān)研究工作，提出基于深度學(xué)習(xí)的加密流量識別的框架，并通過數(shù)據(jù)集、特征構(gòu)造和模型架構(gòu)回顧部分研究工作，分析基于深度學(xué)習(xí)的加密流量識別面臨的挑戰(zhàn)。

　　0　引　言

　　加密流量主要是指在通信過程中所傳送的被加密過的實際明文內(nèi)容。在安全和隱私保護需求的驅(qū)動下，網(wǎng)絡(luò)通信加密化已經(jīng)成為不可阻擋的趨勢。加密網(wǎng)絡(luò)流量呈現(xiàn)爆炸增長，安全超文本傳輸協(xié)議（Hyper Text Transfer Protocol over Secure，HTTPS）幾乎已經(jīng)基本普及。但是，加密流量也給互聯(lián)網(wǎng)安全帶來了巨大威脅，尤其是加密技術(shù)被用于網(wǎng)絡(luò)違法犯罪，如網(wǎng)絡(luò)攻擊、傳播違法違規(guī)信息等。因此，對加密流量進行識別與檢測是網(wǎng)絡(luò)惡意行為檢測中的關(guān)鍵技術(shù)，對維護網(wǎng)絡(luò)空間安全具有重要意義。

　　隨著流量加密與混淆的手段不斷升級，加密流量分類與識別的技術(shù)逐步演進，主要分為基于端口、基于有效載荷和基于流的方法。

　　基于端口的分類方法通過假設(shè)大多數(shù)應(yīng)用程序使用默認的傳輸控制協(xié)議（Transmission Control Protocol，TCP）或用戶數(shù)據(jù)報協(xié)議（User Datagram Protocol，UDP）端口號來推斷服務(wù)或應(yīng)用程序的類型。然而，端口偽裝、端口隨機和隧道技術(shù)等方法使該方法很快失效。基于有效載荷的方法，即深度包解析（Deep Packet Inspection，DPI）技術(shù)，需要匹配數(shù)據(jù)包內(nèi)容，無法處理加密流量?；诹鞯姆椒ㄍǔＲ蕾囉诮y(tǒng)計特征或時間序列特征，并采用機器學(xué)習(xí)算法，如支持向量機、決策樹、隨機森林等算法進行建模與識別。此外，高斯混合模型等統(tǒng)計模型也被用于識別和分類加密流量。

　　雖然機器學(xué)習(xí)方法可以解決許多基于端口和有效載荷的方法無法解決的問題，但仍然存在一些局限：（1）無法自動提取和選擇特征，需要依賴領(lǐng)域?qū)＜业慕?jīng)驗，導(dǎo)致將機器學(xué)習(xí)應(yīng)用于加密流量分類時存在很大的不確定性；（2）特征容易失效，需要不斷更新。與大多數(shù)傳統(tǒng)機器學(xué)習(xí)算法不同，在沒有人工干預(yù)的情況下，深度學(xué)習(xí)可以提取更本質(zhì)、更有效的檢測特征。因此，國內(nèi)外最近的研究工作開始探索深度學(xué)習(xí)在加密流量檢測領(lǐng)域中的應(yīng)用。

　　基于已有研究工作，本文提出了基于深度學(xué)習(xí)的加密流量分類的通用框架，主要包括數(shù)據(jù)預(yù)處理、特征構(gòu)造、模型與算法選擇。本文其余部分組織如下：第1節(jié)介紹加密流量識別的定義；第2節(jié)提出基于深度學(xué)習(xí)的加密流量分類的總體框架；第3節(jié)討論加密流量分類研究中一些值得注意的問題和面臨的挑戰(zhàn)；第4節(jié)總結(jié)全文。

　　1　加密流量識別的定義

　　1.1　識別目的

　　加密流量識別的類型是指識別結(jié)果的輸出形式。通過加密流量識別的應(yīng)用需求，確定識別的類型。加密流量可以從協(xié)議、應(yīng)用、服務(wù)等屬性出發(fā)，逐步精細化識別，最終實現(xiàn)協(xié)議識別、應(yīng)用識別、異常流量識別及內(nèi)容本質(zhì)識別等。

　　1.1.1　識別加密流量

　　加密流量識別的首要任務(wù)是區(qū)分加密與未加密流量。在識別出加密流量后，可以采用不同策略對加密流量進行精細化識別。

　　1.1.2　識別加密協(xié)議

　　加密協(xié)議（如TLS、SSH、IPSec）的識別可以用于網(wǎng)絡(luò)資源的調(diào)度、規(guī)劃和分配，也可以用于入侵檢測以及惡意網(wǎng)絡(luò)行為檢測等。由于各協(xié)議定義不同，需要在協(xié)議交互過程中挖掘具有強差異性的特征與規(guī)律，從而提升加密流量識別的精確性。

　　1.1.3　識別加密應(yīng)用

　　加密應(yīng)用的識別是指識別加密流量所屬的應(yīng)用類型，如Facebook、Youtube、Skype等。它既可用于網(wǎng)絡(luò)資源的精準調(diào)度，也可用于識別暗網(wǎng)應(yīng)用（如Tor、Zeronet），從而提升網(wǎng)絡(luò)空間治理能力。

　　1.1.4　識別惡意加密流量

　　惡意加密流量是指使用加密傳輸?shù)膼阂饩W(wǎng)絡(luò)流量，如勒索病毒、惡意軟件等。識別惡意加密流量可以用于入侵檢測、惡意軟件檢測和僵尸網(wǎng)絡(luò)檢測。

　　1.1.5　識別加密流量內(nèi)容

　　加密流量的內(nèi)容識別是指從加密流量中識別其承載的內(nèi)容，如圖片、視頻、音頻、網(wǎng)頁以及文件類型等。識別加密流量內(nèi)容可用于網(wǎng)絡(luò)空間安全治理。

　　1.2　識別性能

　　目前，網(wǎng)絡(luò)加密流量的識別方法大多采用與準確性相關(guān)的指標進行評估，主要為誤報率、精確率、召回率以及總體準確率等。

　　假設(shè)加密流量有N種類型，即N為分類類別數(shù)；定義圖片為實際類型為i的樣本被識別為類型i的樣本數(shù)；定義圖片為實際類型為i的樣本被誤識別為類型j的樣本數(shù)。

　　類型i的誤報率為：

　　類型i的精確率為：

　　類型i的召回率為：

　　總體準確率為：

　　1.3　加密流量數(shù)據(jù)集

　　使用深度學(xué)習(xí)對加密流量進行分類時，需要選擇規(guī)模較大、數(shù)據(jù)分布均衡且具有代表性的數(shù)據(jù)集。目前，加密流量數(shù)據(jù)集主要有公共數(shù)據(jù)集和原始數(shù)據(jù)。

　　1.3.1　選擇公共數(shù)據(jù)集

　　近年來，大多數(shù)加密流量識別的研究工作選擇公共數(shù)據(jù)集，如ISCX2012、Moore、USTC-TFC2016和IMTD17等。但是，公開的加密流量數(shù)據(jù)集的數(shù)量少，且缺少一個能夠準確且全面表征所有加密流量類型的數(shù)據(jù)集。究其原因，主要在于：流量類型多且數(shù)量龐大，應(yīng)用程序更新頻繁，沒有數(shù)據(jù)集可以包含所有類型的加密流量；難以覆蓋寬帶和無線接入、PC和移動設(shè)備接入等所有網(wǎng)絡(luò)場景。

　　1.3.2　收集原始數(shù)據(jù)

　　文獻[11-12]通過數(shù)據(jù)包采集工具，收集來自研究實驗室網(wǎng)絡(luò)或運營商的原始流量數(shù)據(jù)，但大部分原始數(shù)據(jù)集均未公開。

　　2　深度學(xué)習(xí)的加密流量識別框架

　　本文提供了基于深度學(xué)習(xí)的加密流量識別通用框架，并簡要介紹常用深度學(xué)習(xí)方法的一些最新論文，總體框架如圖1所示，包含數(shù)據(jù)預(yù)處理、特征構(gòu)造以及深度學(xué)習(xí)模型架構(gòu)設(shè)計、訓(xùn)練以及識別等流程。

　　圖1　基于深度學(xué)習(xí)的加密流量識別的通用框架

　　2.1　數(shù)據(jù)預(yù)處理

　　加密流量原始數(shù)據(jù)集可以分為原始數(shù)據(jù)包數(shù)據(jù)集、流量pcap文件和已處理過的統(tǒng)計特征3種類型。在對加密流量識別的深度學(xué)習(xí)框架中，常見的數(shù)據(jù)預(yù)處理操作有數(shù)據(jù)包過濾或報頭去除、數(shù)據(jù)包填充與截斷以及數(shù)據(jù)歸一化。

　　2.1.1　數(shù)據(jù)包過濾或報頭去除

　　由于原始數(shù)據(jù)包數(shù)據(jù)集中可能包含地址解析協(xié)議（Address Resolution Protocol，ARP）、動態(tài)主機配置協(xié)議（Dynamic Host Configuration Protocol，DHCP）、Internet控制報文協(xié)議（Internet Control Message Protocol，ICMP）等流量，同時pcap文件中包含pcap文件頭等信息。通常這兩類數(shù)據(jù)需要進行預(yù)處理，如數(shù)據(jù)包過濾、報頭去除。

　　2.1.2　數(shù)據(jù)包填充與截斷

　　由于深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks，DNN）總是被饋送固定大小的輸入，而數(shù)據(jù)包的幀長度從54到1 514變化很大，如傳輸控制協(xié)議（Transmission Control Protocol，TCP）協(xié)議，因此需要對數(shù)據(jù)包進行固定長度的零填充和截斷。

　　2.1.3　數(shù)據(jù)歸一化

　　數(shù)據(jù)歸一化對深度學(xué)習(xí)的性能至關(guān)重要。通過將統(tǒng)計特征數(shù)據(jù)集中的流量數(shù)據(jù)歸一化為[-1，+1]或[0，1]范圍內(nèi)的值，有助于分類任務(wù)在模型訓(xùn)練期間更快收斂。

　　2.2　特征提取

　　深度學(xué)習(xí)模型的輸入對模型在訓(xùn)練和測試過程中的性能有很大影響，既能直接影響模型的準確性，又能影響計算復(fù)雜度和空間復(fù)雜度。在現(xiàn)有研究中，基于深度學(xué)習(xí)的加密流量分類模型的輸入一般可以分為原始數(shù)據(jù)包數(shù)據(jù)、流量特征以及原始數(shù)據(jù)與流量特征組合3種類型。

　　2.2.1　原始數(shù)據(jù)包數(shù)據(jù)

　　深度學(xué)習(xí)可以自動提取特征，因此大多數(shù)基于深度學(xué)習(xí)的加密流量分類算法將數(shù)據(jù)預(yù)處理后的原始數(shù)據(jù)包數(shù)據(jù)作為模型的輸入。

　　2.2.2　流量特征

　　加密流量的一般流量特征可以分為包級特征、會話特征和統(tǒng)計特征。其中：包級特征包含源和目的端口、包長度、到達時間間隔、有效載荷字節(jié)、TCP窗口大小以及流向等；會話特征包括接收與發(fā)送數(shù)據(jù)包個數(shù)、會話持續(xù)時間以及會話有效負載等；統(tǒng)計特征有平均數(shù)據(jù)包長度、平均延誤時間間隔以及平均上下行數(shù)據(jù)比例等。在文獻[12]中，數(shù)據(jù)包級、流級特征和統(tǒng)計特征都被用于模型的輸入。文獻[15]針對Tor常用的3種流量混淆插件（Obfs3、Obfs4、ScrambleSuit）進行研究，旨在挖掘可用的混淆插件Tor流量識別方法。該文采用的方法為機器學(xué)習(xí)方法，包括C4.5、SVM、Adaboost以及隨機森林，采用的流特征包括數(shù)種前向與后向的數(shù)據(jù)包大小統(tǒng)計特征，如前向總字節(jié)數(shù)。該實驗結(jié)果證明，僅僅采用每條流的前10～50個數(shù)據(jù)包的信息即可實現(xiàn)上述流量的快速檢測。同時，有研究表明，第一個數(shù)據(jù)包的數(shù)量對分類器的影響較大，尤其是實時分類性能。第一個數(shù)據(jù)包收集越多，流量特征越完整和全面。

　　2.2.3　原始數(shù)據(jù)和流量特征的組合

　　TONG等人將原始數(shù)據(jù)包數(shù)據(jù)和從網(wǎng)絡(luò)流量中提取的特征進行組合，從而對新型加密協(xié)議QUIC下的谷歌應(yīng)用程序進行分類。

　　2.3　模型架構(gòu)

　　2.3.1　多層感知器

　　由于多層感知器（Multilayer Perceptron，MLP）的復(fù)雜性和低準確率，研究者在識別加密流量領(lǐng)域中較少使用MLP。文獻[18]基于不同的加密流量數(shù)據(jù)集，將多種深度學(xué)習(xí)算法與隨機森林算法（Random Forest，RF）進行比較，結(jié)果表明大多數(shù)深度學(xué)習(xí)方法優(yōu)于隨機森林算法，但MLP性能低于RF。但文獻[18]提出，由于RF、MLP和其余深度學(xué)習(xí)方法的輸入特征不同，不應(yīng)將該實驗結(jié)果作為對MLP、RF等方法的綜合比較結(jié)論。

　　文獻[19]介紹了一種稱為DataNet的基于深度學(xué)習(xí)的加密流量分類方法，其中MLP模型由1個輸入層、2個隱藏層和1個輸出層組成，用ISCX2012的VPN-nonVPN流量數(shù)據(jù)集進行實驗。實驗評估結(jié)果表明，它的精確率、召回率均超過92%。

　　2.3.2　卷積神經(jīng)網(wǎng)絡(luò)

　　卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）可以通過卷積層來改善MLP無法處理高維輸入的限制，利用卷積和池化來減少模型參數(shù)，如圖2所示。

　　圖2　卷積神經(jīng)網(wǎng)絡(luò)

　　文獻[14]用一維向量表示每個流或會話，以訓(xùn)練CNN模型。結(jié)果表明，該CNN的準確性優(yōu)于使用時間序列和統(tǒng)計特征的C4.5方法。文獻[17]將時間序列數(shù)據(jù)轉(zhuǎn)換為二維圖像，并使用具有2個卷積層、2個池化層和3個全連接層的CNN進行訓(xùn)練。結(jié)果表明，文獻[14]提出的CNN模型在協(xié)議和應(yīng)用分類方面優(yōu)于經(jīng)典機器學(xué)習(xí)方法和MLP。

　　2.3.3　循環(huán)神經(jīng)網(wǎng)絡(luò)

　　循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）可以有效處理序列問題，對之前發(fā)生的數(shù)據(jù)序列有一定的記憶力，結(jié)構(gòu)如圖3所示。文獻[12]提出，在加密流量識別領(lǐng)域中，混合模型會有優(yōu)于單一的長短期記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）或CNN模型。文獻[12]同時使用CNN和RNN來捕獲流的空間特征和時間特征。LIU等人采用基于注意力的雙向門限循環(huán)單位網(wǎng)絡(luò)（Attention-Based Bidirectional GRU Networks，BGRUA）進行以HTTPS封裝的Web流量的識別。該文采用3個部分的神經(jīng)網(wǎng)絡(luò)進行充分的加密流量識別。第1部分為一個雙層的BGRU網(wǎng)絡(luò)，用于從輸入的流序列中學(xué)習(xí)得到序列隱藏狀態(tài)。第2部分為注意力層，將隱藏狀態(tài)序列轉(zhuǎn)化為帶注意力權(quán)重參數(shù)的隱藏狀態(tài)序列，然后通過前向神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)化為預(yù)測標簽。第3部分為遷移學(xué)習(xí)網(wǎng)絡(luò)，實現(xiàn)前兩部分學(xué)習(xí)成果的場景擴展。實驗結(jié)果除了證明模型在性能上的優(yōu)勢外，還證明了遷移學(xué)習(xí)在加速新場景方面的訓(xùn)練能力。

　　圖3　RNN結(jié)構(gòu)

　　2.3.4　自編碼器

　　自編碼器（Auto-Encoder，AE）是一種無監(jiān)督的神經(jīng)網(wǎng)絡(luò)模型，可以學(xué)習(xí)到輸入數(shù)據(jù)的隱含特征。文獻[21]使用AE重構(gòu)輸入，并將softmax層應(yīng)用于自編碼器的編碼內(nèi)部表示。文獻[22]采用有效載荷數(shù)據(jù)來訓(xùn)練一維CNN和堆疊AE模型，如圖4所示。這兩種模型顯示出高精度，且CNN模型略微優(yōu)于堆疊AE模型。

　　圖4　Deep Packet框架

　　3　挑戰(zhàn)與展望

　　本節(jié)對加密流量識別的挑戰(zhàn)與未來方向進行了討論。

　　3.1　現(xiàn)存挑戰(zhàn)

　　3.1.1　新型加密協(xié)議的出現(xiàn)

　　隨著新型加密協(xié)議的出現(xiàn)與普及，如TLS1.3協(xié)議，數(shù)據(jù)包中只有少數(shù)字段未加密，證書和域名信息都將加密?；赥LS1.2握手期間，部分明文字段的加密流量識別算法都將失效。

　　3.1.2　加密流量的標注

　　深度學(xué)習(xí)在訓(xùn)練過程中需要大量標記數(shù)據(jù)。但是，由于隱私保護和流量標注工具如深度包解析工具無法處理加密流量，難以在短時間和低成本的條件下合法收集，并準確標注加密流量數(shù)據(jù)集。

　　3.1.3　加密流量的分布

　　在真實網(wǎng)絡(luò)環(huán)境下，類不平衡也是加密流量分類的重要問題，會直接影響分類精度。

　　3.2　未來可能的方向

　　3.2.1　預(yù)訓(xùn)練模型

　　未標記的流量數(shù)據(jù)數(shù)據(jù)量大且比較容易獲取，因此一些研究人員開始探索如何利用容易獲得的未標記流量數(shù)據(jù)結(jié)合少量標記流量數(shù)據(jù)進行準確的流量分類。通過它可以使用大量未標記的交通數(shù)據(jù)預(yù)訓(xùn)練模型，然后將其轉(zhuǎn)移到新架構(gòu)，并使用深度學(xué)習(xí)重新訓(xùn)練模型。此外，預(yù)訓(xùn)練可以用于降維，使模型變得輕量級。

　　3.2.2　生成對抗網(wǎng)絡(luò)

　　生成模型可用于處理網(wǎng)絡(luò)流量分類中的數(shù)據(jù)集不平衡問題。不平衡問題是指每個類的樣本數(shù)量差異很大的場景，而處理不平衡數(shù)據(jù)集的最常見和最簡單的方法是通過復(fù)制少類的樣本進行過采樣，或者通過從多類中刪除一些樣本進行欠采樣。文獻[24]中，生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）用于生成合成樣本以處理不平衡問題，通過使用輔助分類器生成對抗網(wǎng)絡(luò)（Auxiliary Classifier Generative Adversarial Network，AC-GAN）來生成兩類網(wǎng)絡(luò)，使用具有2個類（SSH和非SSH）和22個輸入統(tǒng)計特征的公共數(shù)據(jù)集。

　　3.2.3　遷移學(xué)習(xí)

　　遷移學(xué)習(xí)假設(shè)源任務(wù)和目標任務(wù)的輸入分布是相似的，允許在源任務(wù)上訓(xùn)練的模型用于不同的目標任務(wù)。由于模型已訓(xùn)練，再訓(xùn)練過程需要的標記數(shù)據(jù)和訓(xùn)練時間將明顯減少。在網(wǎng)絡(luò)加密流量識別的場景中，可用公開的加密數(shù)據(jù)集來預(yù)訓(xùn)練模型，在進一步調(diào)整模型后，以用于具有較少標記樣本的另一個加密流量分類任務(wù)。文獻[23]使用這種方法，將預(yù)先訓(xùn)練的CNN模型的權(quán)重轉(zhuǎn)移到一個新模型，訓(xùn)練對Google應(yīng)用程序進行分類。論文還表明，在不相關(guān)的公共數(shù)據(jù)集上，預(yù)訓(xùn)練的模型仍然可以用于遷移學(xué)習(xí)。

　　4　結(jié)　語

　　網(wǎng)絡(luò)流量是網(wǎng)絡(luò)通信的必然產(chǎn)物，而流量蘊含了通信過程中雙方的各種關(guān)鍵信息，因此加密流量分析是網(wǎng)絡(luò)態(tài)勢感知的一個重要方面。多種研究和實踐已經(jīng)證明，加密流量中蘊含的信息可以在一定程度上被有效挖掘，為網(wǎng)絡(luò)管理操作決策提供高質(zhì)量的依據(jù)支撐。因此，加密流量分析是提升網(wǎng)絡(luò)態(tài)勢感知能力的關(guān)鍵因素之一，具有極高的科研、應(yīng)用、民生以及安全意義。

　　本文提出了基于深度學(xué)習(xí)的加密流量分類的通用框架，并根據(jù)分類任務(wù)定義、數(shù)據(jù)準備、特征構(gòu)造、模型輸入設(shè)計和模型架構(gòu)回顧了最新的現(xiàn)有工作。此外，本文對加密流量識別的現(xiàn)存問題和未來可能的識別技術(shù)進行了討論。