畢業(yè)于香港中文大學(xué)的博士生,你怎么也不會想到他會去掃”垃圾“吧。
不過,此垃圾非彼垃圾。而是網(wǎng)絡(luò)垃圾。
相信各位童鞋對此也并不陌生。
每個打工人上班摸魚的時候肯定都見過一些奇奇怪怪的文字——如”胃?“、”叩--裙“、”9え“、”發(fā)嘌“。
圖片
你以為這是追求個性,其實是黑灰產(chǎn)為了規(guī)避系統(tǒng)排查,以便發(fā)送成千上萬條”垃圾信息“。
而清除這些垃圾就是這位博士生的工作。
1
博士生在淘寶掃”垃圾“
故事的主人公名叫劉翔宇,是一名來自阿里的安全工程師,他的日常工作就是掃”垃圾“
圖片
那么,這些垃圾是哪里來的呢?
類似于現(xiàn)實生活中的”海王“,他們廣撒網(wǎng),幾乎日日有不同花樣,讓你甩都甩不掉。
網(wǎng)絡(luò)垃圾也同樣如此,他們每天都會騷擾平臺商家,每天試圖向商家群發(fā)上百萬條垃圾信息。
據(jù)劉翔宇介紹,黑灰產(chǎn)通常掌控上千個賬號,并編寫程序,利用機(jī)器海量給商家群發(fā)信息,有一些刷單、欺詐信息等違法內(nèi)容,更多的是營銷、店鋪代運營等各種招攬生意的廣告,像極了那些上門搗亂的人。
黑灰產(chǎn)團(tuán)伙通常會在很短的時間內(nèi)把大量的垃圾消息海量群發(fā)給商家。他們嗡嗡不停,少則一天群發(fā)幾萬條信息,多則一天上百萬條,最瘋狂時,一分鐘就能群發(fā)上萬條信息。
旺旺上線”戳一戳“的新功能后,有的黑灰產(chǎn)試圖編寫程序,同時”戳一戳“上萬人。被”亂戳“的主要是新商家,這樣的騷擾可能會讓初入淘寶大門的商家不勝其擾。
那么,如何才能清理掉這些網(wǎng)路垃圾呢?
這位博士生想到的辦法是利用 AI 來對抗。
2
AI 上線,一個頂倆
所謂 AI 對抗就是根據(jù)算法進(jìn)行分層識別,在發(fā)現(xiàn)黑灰產(chǎn)群發(fā)的垃圾信息后,系統(tǒng)可在一秒內(nèi)撤回信息,實現(xiàn)凈化商家運營環(huán)境的效果。
當(dāng)然,”垃圾清理人“面對的不是散兵游勇,而是黑灰產(chǎn)的團(tuán)伙作戰(zhàn)。
”他們應(yīng)該是專業(yè)團(tuán)伙,按照攻擊時間,可以看出他們每天也有固定的上下班時間,不少人應(yīng)該是學(xué)計算機(jī)相關(guān)專業(yè)出身的,甚至是像我們一樣做過安全防控的人,這些人對安全防控非常了解,會用智能化手段對抗,比如他們會發(fā)測試信息,對我們的攔截做試探再做調(diào)整?!?/p>
劉翔宇這樣介紹道。
更讓人頭疼的是,這些黑灰產(chǎn)并沒有規(guī)律可言,不知道他們什么時候忽然發(fā)動攻擊,每周少則幾次,多則十幾次。
尤其是”雙11“大促期間,黑灰產(chǎn)非常瘋狂,發(fā)出的垃圾信息量比平時多幾十倍。
甚至,黑灰產(chǎn)還會想辦法通過”變異“試圖突破安全防線。
所謂的”變異對抗“,就是黑灰產(chǎn)會試圖改變發(fā)送的垃圾消息內(nèi)容,讓系統(tǒng)無法快速識別。黑灰產(chǎn)故意把一些關(guān)鍵,用音近、形近或語義相近的字詞代替。在黑灰產(chǎn)黑話中,qq 群變成了”叩--裙“,私人微信寫成”私入崴伈“,發(fā)票可能成為”發(fā)嘌“。
所以,這就是大家有時候在上網(wǎng)沖浪的時候總會看到一些奇怪的字符的原因。
黑灰產(chǎn)在進(jìn)化,AI 能力也需要升級。
于是,針對黑灰產(chǎn)的”作案方式“,這名博士生和他的團(tuán)隊研究出一套新的解決辦法。
即利用神經(jīng)機(jī)器翻譯和多模態(tài)詞嵌入技術(shù),增強(qiáng)垃圾文本內(nèi)容風(fēng)險識別系統(tǒng)的性能。
具體有什么作用呢?
首先,來看下神經(jīng)機(jī)器翻譯技術(shù)。
這項技術(shù)主要解決的問題是基于主動生成的對抗平行語料,利用神經(jīng)機(jī)器翻譯技術(shù),構(gòu)建對抗糾錯模型,可消除黑灰產(chǎn)發(fā)出的內(nèi)容對抗擾動。
也就是說,這項技術(shù)可以實現(xiàn)對黑灰產(chǎn)的攔截。
再來看下多模態(tài)詞嵌入技術(shù)。
這項技術(shù)的主要功能是可以利用多模態(tài)詞嵌入技術(shù)提取垃圾文本的語義、語音、字形特征,并通過多模態(tài)融合機(jī)制有效地增強(qiáng)系統(tǒng)針對基于義近、音近、形近等文本變異的魯棒性,可進(jìn)一步提供系統(tǒng)識別準(zhǔn)確率。
也就是說,這個技術(shù)的加入進(jìn)一步增強(qiáng)了 AI 識別錯誤的能力。
現(xiàn)在,這位博士生打造的算法已能夠自行理解某個字和與它音形義近似的字的關(guān)聯(lián),識別準(zhǔn)確率高于 98%,可有效新增識別變異違規(guī)文本內(nèi)容 50% 以上。
此外,他還開發(fā)了”變異垃圾語言“翻譯功能,系統(tǒng)可以將”變異信息“翻譯回正常語句。
這波操作真的是讓人直呼 666。
值得注意的是,每天這位博士需要處理的賬號在上萬個以上,處罰方式包括扣分、禁言、封號等。
當(dāng)然,如果商家依舊不堪其擾,還是得去尋找警察蜀黎的幫助,交給警察蜀黎處理。
最后,雷鋒網(wǎng)還是要提醒大家一句:千萬別因為覺得投訴和舉報沒有用,就放棄了維護(hù)自己的權(quán)益。
在沒有良心的黑灰產(chǎn)面前,如果你放棄追責(zé),那就真的沒有人在乎你的權(quán)益了。