由于各種設(shè)備產(chǎn)生的數(shù)據(jù)爆炸式增長，新型攻擊和復(fù)雜威脅的快速增加，基于人工智能的自動化異常檢測系統(tǒng)現(xiàn)在越來越受歡迎。

　　異常檢測系統(tǒng)可以應(yīng)用于各種業(yè)務(wù)場景，管理數(shù)百萬個(gè)指標(biāo)的大規(guī)模數(shù)據(jù)，并通過篩查數(shù)據(jù)發(fā)現(xiàn)問題。例如它可以監(jiān)控金融科技公司的金融交易，檢測其網(wǎng)絡(luò)中可能存在的欺詐活動、數(shù)百萬種產(chǎn)品電子商務(wù)價(jià)格故障等問題。

　　在應(yīng)用異常檢測系統(tǒng)時(shí)，企業(yè)應(yīng)關(guān)注以下重要問題，以確保能夠?qū)崿F(xiàn)高效檢測目標(biāo)：

　　1] 警報(bào)頻率是多少（5分鐘or10分鐘、1小時(shí)or1天？）

　　2] 對可擴(kuò)展解決方案需求（大數(shù)據(jù)與常規(guī)RDBMS數(shù)據(jù)）

　　3] 本地或基于云的解決方案（Docker與AWS EC實(shí)例）

　　4] 無監(jiān)督與半監(jiān)督解決方案

　　5] 如何閱讀和優(yōu)先考慮各種異常以采取適當(dāng)?shù)男袆樱ɑ邳c(diǎn)的、上下文的、集體的異常）

　　6] 警報(bào)與系統(tǒng)的集成

　　以下是對上述六個(gè)問題的詳細(xì)介紹：

　　什么是警報(bào)頻率：警報(bào)頻率在很大程度上取決于被檢測流程的敏感性，包括反應(yīng)時(shí)間等指標(biāo)。一些應(yīng)用程序的檢測需要低延遲，比如在幾分鐘內(nèi)檢測到用戶的可疑欺詐支付交易并將其提示給用戶，以防銀行卡被濫用；還有一些應(yīng)用程序的檢測，則無需特別敏感，例如來自手機(jī)基站的呼入和呼出，可以匯總到每小時(shí)級別，而不是以5分鐘為間隔進(jìn)行測量。因此可采取適用性測量應(yīng)對敏感性警報(bào)過多的情況。

　　可擴(kuò)展解決方案需求：電子商務(wù)或金融科技等行業(yè)企業(yè)，由于此類企業(yè)對速度或可擴(kuò)展性的需要，可能將數(shù)據(jù)保存在大數(shù)據(jù)環(huán)境中。在一些大數(shù)據(jù)場景中，硬件和軟件的可擴(kuò)展性需要分別由Hadoop和Spark等系統(tǒng)來處理，而在常規(guī)場景中則需要考慮RDBMS和Python編程。

　　本地或基于云的解決方案：對于金融科技和銀行等某些業(yè)務(wù)，由于存在合規(guī)性和保密性相關(guān)的問題，數(shù)據(jù)不能轉(zhuǎn)儲到云中。對于電子商務(wù)等其他一些業(yè)務(wù)，數(shù)據(jù)可以上傳到私有云中。異常檢測解決方案應(yīng)考慮這些方面的差異，以了解部署是否可以Docker格式進(jìn)行本地服務(wù)或基于云電商解決方案以實(shí)現(xiàn)基于云的需求。

　　無監(jiān)督與半監(jiān)督解決方案：雖然部署無監(jiān)督學(xué)習(xí)算法來檢測基于時(shí)間序列的數(shù)據(jù)的異常是一種常見的解決方案，但這些系統(tǒng)經(jīng)常會產(chǎn)生大量誤報(bào)。在這種情況下，如果企業(yè)發(fā)現(xiàn)警報(bào)數(shù)量較多，他們可以根據(jù)評分優(yōu)先處理警報(bào)，并且可以設(shè)置更高的閾值分?jǐn)?shù)以增加對關(guān)鍵異常的關(guān)注。但是，也確實(shí)存在半監(jiān)督算法，它使算法能夠根據(jù)用戶對生成的異常反饋進(jìn)行重新訓(xùn)練，在后期不會重復(fù)此類錯(cuò)誤，但重要的是要記住，集成半監(jiān)督算法確實(shí)有其自身的挑戰(zhàn)。

　　如何閱讀和優(yōu)先處理各種異常以采取行動：異常類型在基于點(diǎn)、上下文和集體等不同性質(zhì)上的處理需求不同?；邳c(diǎn)的異常是從單個(gè)序列生成的異常，這些異?？赡苁且粚σ坏模簧舷挛漠惓Ｊ窃诓煌瑫r(shí)間段表現(xiàn)為異常的異常，否則將被視為正常數(shù)據(jù)點(diǎn)。上下文異常的示例可能是，如果在下午呼叫量激增不會被視為異常，而如果在午夜發(fā)生相同數(shù)量的激增，則將被視為異常。上下文異常也出現(xiàn)在單個(gè)系列上，類似于基于點(diǎn)的異常；最后，集體異常出現(xiàn)在各種數(shù)據(jù)系列中，這些集合試圖創(chuàng)建一個(gè)完整的故事。公司應(yīng)該定義他們正在尋找的異常類型，以便充分利用異常檢測系統(tǒng)。此外，通過基于評分系統(tǒng)對異常進(jìn)行優(yōu)先級排序，可以給予更高級別的異常更多的優(yōu)先權(quán)。

　　警報(bào)與系統(tǒng)的集成：一旦生成警報(bào)，就需要與可用的內(nèi)部系統(tǒng)集成。如果不注意這一點(diǎn)，驗(yàn)證過程將會耗用資源，尤其是在誤報(bào)的情況下。理想情況下，來自異常檢測系統(tǒng)的警報(bào)應(yīng)與電子郵件通知系統(tǒng)、SMS通知系統(tǒng)或任何其他儀表板系統(tǒng)集成，這些系統(tǒng)可以向用戶發(fā)送有關(guān)檢測到故障的通知。