基于多头卷积残差连接的文本数据实体识别
网络安全与数据治理
刘微，李波，杨思瑶
沈阳理工大学信息科学与工程学院
摘要： 为构建工作报告中的文本数据关系型数据库，针对非结构化文本数据中有效信息实体提取问题以及传统网络在提取信息时特征丢失问题，设计了一种基于深度学习的实体识别模型RoBERTa-MCR-BiGRU-CRF，首先利用预训练模型RoBERTa作为编码器，将训练后的词向量输入到多头卷积残差网络层MCR扩充语义信息，接着输入到门控循环BiGRU层进一步提取上下文特征，最后经过条件随机场CRF层解码进行标签判别。经过实验，模型在工作报告数据集上F1值达到96.64%，优于其他对比模型；并且在数据名称实体类别上，F1值分别比BERT-BiLSTM-CRF和RoBERTa-BiGRU-CRF提高了3.18%、2.87%，结果表明该模型能较好地提取非结构化文本中的有效信息。
中圖分類號：TP391.1文獻標識碼：ADOI:10.19358/j.issn.2097-1788.2024.12.008
引用格式：劉微，李波，楊思瑤. 基于多頭卷積殘差連接的文本數(shù)據(jù)實體識別［J］.網(wǎng)絡安全與數(shù)據(jù)治理，2024，43（12）：54-59.
引用格式：劉微，李波，楊思瑤. 基于多頭卷積殘差連接的文本數(shù)據(jù)實體識別［J］.網(wǎng)絡安全與數(shù)據(jù)治理，2024，43（12）：54-59.
Text data entity recognition based on muti-head convolution residual connections
Liu Wei, Li Bo, Yang Siyao
School of Information Science and Engineering, Shenyang University of Technology
Abstract： To construct a relational database for text data in work reports, and address the problem of extracting useful information entities from unstructured text and feature loss in traditional networks during information extraction, a deep learning-based entity recognition model, which is named RoBERTa-MCR-BiGRU-CRF is proposed. The model firstly uses the pre-trained model Robustly Optimized BERT Pretraining Approach (RoBERTa) as an encoder, feeding the trained word embeddings into the Multi-head Convolutional Residual network (MCR) layer to enrich semantic information. Next, the embeddings are input into a gated recurrent Bidirectional Gated Recurrent Unit (BiGRU) layer to further capture contextual features. Finally, a Conditional Random Field (CRF) layer is used for decoding and label prediction. Experimental results show that the model achieves an F1 score of 96.64% on the work report dataset, outperforming other comparative models. Additionally, for named entity categories in the data, the F1 score is 3.18% and 2.87% higher than BERT-BiLSTM-CRF and RoBERTa-BiGRU-CRF, respectively. The results demonstrate the model′s effectiveness in extracting useful information from unstructured text.
Key words : deep learning; named entity recognition; neural networks; data mining
引言
實體識別在信息抽取方面有著重要作用，現(xiàn)階段數(shù)據(jù)提取主要是利用深度學習技術，運用到命名實體識別（Named Entity Recognition，NER）中提取名詞和一些相關概念。命名實體識別可以提取有效數(shù)據(jù)，去除無關信息，方便建立數(shù)據(jù)庫，對數(shù)據(jù)進行后續(xù)處理與追蹤從而提升其安全性，可以應用于構建知識圖譜問答系統(tǒng)和數(shù)據(jù)追溯系統(tǒng)等領域。實體識別本質上是解決一個序列標注問題，對文本和數(shù)字序列進行標簽分類。
隨著深度學習技術的發(fā)展，實體識別取得了顯著進展，傳統(tǒng)的基于規(guī)則和詞典的方法逐漸被基于統(tǒng)計學習和神經(jīng)網(wǎng)絡的方法所取代，自2018年以來，基于BERT的預訓練神經(jīng)網(wǎng)絡模型（如BERT-BiLSTM-CRF）在多個公開數(shù)據(jù)集上達到了同年的最好性能。本文提出一種新的融合外部知識資源的方法來提高NER模型的性能。本模型在自制的數(shù)據(jù)集上進行實驗，驗證了所提方法在非結構文本數(shù)據(jù)方面識別的性能，證明模型在NER任務中的有效性。
本文詳細內容請下載：
http://ihrv.cn/resource/share/2000006267
作者信息：
劉微，李波，楊思瑤
（沈陽理工大學信息科學與工程學院，遼寧沈陽110158）
此內容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權禁止轉載。