一種基于指令流水線的數(shù)據(jù)匹配算法 | |
所屬分類:技術(shù)論文 | |
上傳者:wwei | |
文檔大?。?span>3345 K | |
標簽: 正則表達式匹配 指令流水 高性能數(shù)據(jù)匹配 | |
所需積分:0分積分不夠怎么辦? | |
文檔介紹:基于正則表達式的數(shù)據(jù)匹配技術(shù)在基礎(chǔ)數(shù)據(jù)治理和清洗方面有著重要的應用價值。然而,在高性能計算領(lǐng)域的數(shù)據(jù)處理過程中因算法匹配吞吐率低,無法滿足大數(shù)據(jù)處理環(huán)境下對算法的高性能要求,造成其應用范圍受限。針對此現(xiàn)象,提出一種基于指令流水線的數(shù)據(jù)匹配算法,稱之為γFA:利用Intel架構(gòu)內(nèi)置的向量指令流水式讀入若干字符段,通過大寬度向量比較函數(shù)進行字符段與非信任字符集的流水比值處理并轉(zhuǎn)換成整型向量,通過位置定位函數(shù)累加定位出所有整型向量的首個非信任字符位置,計算出可略過的總字符數(shù),減少正則表達式匹配引擎因處理非信任字符集導致訪問低速內(nèi)存而帶來巨大的時間開銷,實現(xiàn)正則表達式匹配算法的性能提升。實驗結(jié)果表明,γFA算法的吞吐率是原始DFA算法的15.88~53.06倍,相比于ßFA算法,吞吐率提升了35.12%~63.26%,取得較好的性能加速效果。此外,通過對γFA算法進行優(yōu)化后,性能可接近100 Gb/s,為原始DFA匹配算法性能的15.88~64.94倍,相比于γFA算法性能提升了2.15%~43.09%。 | |
現(xiàn)在下載 | |
VIP會員,AET專家下載不扣分;重復下載不扣分,本人上傳資源不扣分。 |
Copyright ? 2005-2024 華北計算機系統(tǒng)工程研究所版權(quán)所有 京ICP備10017138號-2