《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 其他 > 設(shè)計應(yīng)用 > 基于預(yù)訓(xùn)練模型的基層治理敏感實體識別方法
基于預(yù)訓(xùn)練模型的基層治理敏感實體識別方法
電子技術(shù)應(yīng)用
吳磊1，汪杭軍2
（1.浙江農(nóng)林大學(xué) 數(shù)學(xué)與計算機科學(xué)學(xué)院，浙江 杭州 311300； 2.浙江農(nóng)林大學(xué)暨陽學(xué)院 工程技術(shù)學(xué)院，浙江 諸暨 311800）
摘要： 基層治理產(chǎn)生的大量敏感數(shù)據(jù)可通過數(shù)據(jù)脫敏去除隱私內(nèi)容，但這些數(shù)據(jù)包含較多非結(jié)構(gòu)化文本數(shù)據(jù)，難以直接進(jìn)行數(shù)據(jù)脫敏。因此，需要對非結(jié)構(gòu)化文本數(shù)據(jù)進(jìn)行命名實體識別以提取敏感數(shù)據(jù)。首先把敏感實體分為16類并對信訪文本進(jìn)行標(biāo)注，輸入層表示采用預(yù)訓(xùn)練模型BERT，編碼層利用雙向長短時記憶網(wǎng)絡(luò)汲取上下文信息，解碼層通過條件隨機場模型優(yōu)化序列，構(gòu)建了較高精度的基層治理敏感實體識別模型。針對脫敏工作需要，改變假陰性和假陽性的loss權(quán)重，并采用敏感實體框選率輔助評價模型性能。在基層治理信訪數(shù)據(jù)集和公共數(shù)據(jù)集MSRA上進(jìn)行實驗，F(xiàn)1值分別為88.38%和90.11%，相較于基準(zhǔn)模型提升了4.64%和3.78%。該模型可應(yīng)用于非結(jié)構(gòu)化文本的敏感實體識別，識別成功率高。現(xiàn)有評價指標(biāo)未能較好地反映敏感實體的間接推理關(guān)系，應(yīng)當(dāng)探索更完善的敏感實體評價體系。
中圖分類號：TP391.1 文獻(xiàn)標(biāo)志碼：A DOI: 10.16157/j.issn.0258-7998.233942
中文引用格式： 吳磊，汪杭軍. 基于預(yù)訓(xùn)練模型的基層治理敏感實體識別方法[J]. 電子技術(shù)應(yīng)用，2023，49(9)：109-114.
英文引用格式： Wu Lei，Wang Hangjun. Identification method of sensitive entities in grassroots governance based on pre-training models[J]. Application of Electronic Technique，2023，49(9)：109-114.
Identification method of sensitive entities in grassroots governance based on pre-training models
Wu Lei1，Wang Hangjun2
(1.School of Mathematics and Computer Science， Zhejiang A&F University， Hangzhou 311300， China； 2.College of Engineering and Technology， Jiyang College of Zhejiang A&F University， Zhuji 311800， China)
Abstract： A large number of sensitive data generated by grassroots governance can be desensitized to remove private content, but these data contain more unstructured text data, which is difficult to desensitize directly. Therefore, it is necessary to identify named entities from unstructured text data to extract sensitive data.Firstly, the sensitive entities are divided into 16 categories and the letters and visits are labeled. The input layer is represented by the pre-trained model BERT, and the coding layer uses the bidirectional long short-term memory network to extract the context information. The decoding layer constructs a highly accurate identification model for sensitive entities in grassroots governance through the conditional random field model optimization sequence. According to the needs of desensitization, the loss weight of false negative and false positive is changed, and the Box Selection rate of sensitive entities is used to assist in evaluating the performance of the model.Experiments were conducted on the grassroots governance petition data set and the public data set MSRA. The F1 values were 88.38% and 90.11%, respectively, which were 4.64% and 3.78% higher than the benchmark model. The model can be applied to sensitive entity recognition of unstructured text with high recognition success rate.The existing evaluation indicators fail to better reflect the indirect reasoning relationship of sensitive entities, and a more perfect evaluation system of sensitive entities should be explored.
Key words : pre-trained language model；grassroots governance；Chinese named entity recognition；data masking

0　引言

隨著中國特色社會主義進(jìn)入新時代，構(gòu)建現(xiàn)代化的基層治理體系對鄉(xiāng)村振興和國家長治久安意義重大，而治理體系現(xiàn)代化需要信息化要素的融入[1]。基層治理數(shù)字化產(chǎn)生的大量數(shù)據(jù)經(jīng)過數(shù)據(jù)分析與挖掘，可用于鄉(xiāng)、鎮(zhèn)、街道的信息化、智慧化建設(shè)。這些數(shù)據(jù)難以避免地會包含個人隱私信息，且在現(xiàn)有安全條件下這些數(shù)據(jù)采集和使用可能存在數(shù)據(jù)泄露風(fēng)險[2]。數(shù)據(jù)脫敏是一種將結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)中的敏感信息按照一定脫敏規(guī)則進(jìn)行數(shù)據(jù)變形的技術(shù)，經(jīng)過脫敏后的數(shù)據(jù)兼顧了可用性和安全性，能夠在保護(hù)隱私的前提下正常應(yīng)用于各個場景。文獻(xiàn)[3]闡述司法領(lǐng)域結(jié)構(gòu)化文本和非結(jié)構(gòu)化文本的脫敏問題，并以匈牙利法律文件作為案例研究可能的方案。該文獻(xiàn)提供了一種思路，即將命名實體識別與數(shù)據(jù)脫敏聯(lián)系起來。結(jié)構(gòu)化數(shù)據(jù)中敏感數(shù)據(jù)較為明確，可依據(jù)不同的數(shù)據(jù)列劃分，但非結(jié)構(gòu)化數(shù)據(jù)需要將敏感數(shù)據(jù)從大量文本中識別出來，這就需要命名實體識別技術(shù)應(yīng)用于基層治理文本的數(shù)據(jù)脫敏過程中。

命名實體識別[4]是一種從非結(jié)構(gòu)化文本中識別出具有特定意義實體的技術(shù)，為自然語言處理中的一項基礎(chǔ)任務(wù)。該任務(wù)有助于關(guān)系抽取、知識圖譜等下游任務(wù)[5]。常見的實體有人名、地名、機構(gòu)名等，例如在“李彥宏在北京舉辦了百度AI開發(fā)大會”識別出李彥宏（人名）、北京（地名）、百度（機構(gòu)名）3個實體。命名實體識別技術(shù)的發(fā)展可劃分為3個階段：基于詞典和規(guī)則的方法、基于機器學(xué)習(xí)的方法和基于深度學(xué)習(xí)的方法[4]。除了通用語料的實體識別，還存在面向特定應(yīng)用場景的領(lǐng)域命名實體識別（Domain Named Entity Recognition，DNER），例如醫(yī)療、生物、金融、司法、農(nóng)業(yè)等領(lǐng)域[6]。雙向長短期記憶網(wǎng)絡(luò)（Bidirectional Long Short-Term Memory Networks,BiLSTM）和條件隨機場（Conditional Random Field,CRF）的組合模型由于良好的表現(xiàn)，在不同領(lǐng)域都被作為最經(jīng)典的模型而廣泛使用。本文將基層治理非結(jié)構(gòu)化文本的敏感詞識別任務(wù)轉(zhuǎn)換為命名實體識別任務(wù)，沿用常規(guī)的序列標(biāo)注方法。

英文單詞之間有空格劃分，分詞邊界明確，以及首字母、詞根、后綴等區(qū)分信息使得命名實體識別表現(xiàn)較好。而中文最明顯的特點是詞界模糊，沒有分隔符來表示詞界[7]。由于中文字詞之間沒有空格分隔，中文命名實體識別若以詞粒度劃分，必須先進(jìn)行分詞。分詞錯誤導(dǎo)致的誤差傳遞使得詞粒度識別效果差于字粒度。因此，中文命名實體識別常采用字粒度進(jìn)行識別。文獻(xiàn)[8]綜述了中文命名實體識別的方法、難點問題和未來研究方向。文獻(xiàn)[9]通過在中文詞嵌入加入語義、語音信息以提升識別效果。目前，命名實體識別廣泛應(yīng)用于各個領(lǐng)域，但在基層治理領(lǐng)域的相關(guān)應(yīng)用較少。與通用領(lǐng)域數(shù)據(jù)相比，基層治理過程中的敏感信息識別實體嵌套、一詞多義和字詞錯誤等問題更為嚴(yán)重。

此外，通用領(lǐng)域的命名實體識別雖包含了人名、地名和機構(gòu)名等部分敏感實體，但未能將身份證號、手機號和銀行卡號等數(shù)字類型的敏感實體作為數(shù)據(jù)標(biāo)注，難以包含基層治理過程中產(chǎn)生的眾多敏感實體類型。



本文詳細(xì)內(nèi)容請下載：http://ihrv.cn/resource/share/2000005647




作者信息：

吳磊1，汪杭軍2

（1.浙江農(nóng)林大學(xué) 數(shù)學(xué)與計算機科學(xué)學(xué)院，浙江 杭州 311300；2.浙江農(nóng)林大學(xué)暨陽學(xué)院 工程技術(shù)學(xué)院，浙江 諸暨 311800）

微信圖片_20210517164139.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。