《電子技術應用》
您所在的位置：首頁 > 人工智能 > 設計應用 > 基于RoBERTa和多層次特征的中文事件抽取方法
基于RoBERTa和多層次特征的中文事件抽取方法
電子技術應用 11期
樂楊，胡軍國，李耀
（浙江農林大學 數學與計算機科學學院，浙江 杭州 311300）
摘要： 針對中文事件抽取中語義表征不充分、特征提取不全面等問題，提出一種基于RoBERTa和多層次特征的中文事件抽取方法。通過RoBERTa預訓練模型構建字向量，并基于詞性標注和觸發(fā)詞語義信息融入進行字向量擴展；其次使用雙向長短時記憶網絡和卷積神經網絡抽取全局特征和局部特征，并通過自注意力機制捕捉不同特征之間的關聯，加強對重要特征的利用；最后通過條件隨機場實現BIO序列標注，完成事件抽取。在DuEE1.0數據集上，觸發(fā)詞抽取和事件論元抽取的F1值達到86.9%和68.0%，優(yōu)于現有常用事件抽取模型，驗證了該方法的有效性。
中圖分類號：TP391
文獻標志碼：A
DOI: 10.16157/j.issn.0258-7998.234136
引用格式： 樂楊，胡軍國，李耀. 基于RoBERTa和多層次特征的中文事件抽取方法[J]. 電子技術應用，2023，49(11)：49-54.
Chinese event extraction method based on RoBERTa and multi-level feature
Le Yang，Hu Junguo，Li Yao
(College of Mathematics and Computer Science， Zhejiang Agriculture &Forestry University， Hangzhou 311300， China)
Abstract： To address the issues of insufficient semantic representation and incomplete feature extraction in Chinese event extraction, a method based on RoBERTa and multi-level features is proposed. Firstly, by using the pre-trained RoBERTa model, word embeddings are constructed and extended based on syntactic and semantic information of trigger words. Specifically, part-of-speech tags and trigger word embeddings are integrated into the word embeddings. Secondly, global and local features are extracted using a bi-directional long short-term memory network and convolutional neural network, respectively. The self-attention mechanism is employed to capture the relationships among different features, emphasizing the utilization of important features. Finally, a conditional random field is used to achieve BIO sequence labeling, completing the event extraction process. On the DuEE1.0 dataset, the F1 scores of trigger word extraction and event argument extraction reach 86.9% and 68.0%, respectively, which are superior to existing common event extraction models, validating the effectiveness of this method.
Key words : event extraction；RoBERTa pretrained model；multi-level feature；self-attention mechanism；sequence labeling

【引言】

事件抽取作為一種信息抽取技術，旨在從文本中識別和提取出事件的關鍵要素[1]，以自動化處理大規(guī)模的非結構化文本數據，在知識圖譜[2]、信息檢索[3]、自動問答[4]、情報收集[5]等領域均有著廣泛的應用。

近年來，隨著深度學習的發(fā)展，深度學習在事件抽取任務中取得了廣泛的應用且取得了優(yōu)異的效果?；谏疃葘W習的事件抽取方法,先將文本中的詞轉換成向量，再將向量作為模型的輸入進行特征抽取和分類。目前使用最廣泛的詞向量工具是Word2Vec，但通過Word2Vec得到的詞向量是靜態(tài)的，只針對單獨的詞，無法解決中文詞語在不同環(huán)境下擁有不同語義信息的問題[6]。

同時大部分的神經網絡模型著重于抽取向量中部分特征信息，無法覆蓋所有的特征信息。如卷積神經網絡（Convolutional Neural Networks，CNN）通過卷積操作提取向量中的局部特征，但由于卷積核大小和步幅的限制，可能導致一些全局上下文相關的特征被局部特征所掩蓋或丟失[7]；雙向長短時記憶網絡（Bidirectional Long Short-Term Memory，BiLSTM）可以處理長序列數據，提取全局特征，但無法直接捕捉文本中的詞與詞之間的關系[8]。

針對上述提到的中文語義復雜和特征信息抽取不全面，提出一種基于RoBERTa預訓練模型[9]和多層次特征的中文事件抽取方法。本文的主要貢獻在于：

（1）采用RoBERTa預訓練模型訓練的詞向量，拼接詞性特征向量，獲取含有豐富語音的向量表示。并在論元抽取中基于Layer Normalization將觸發(fā)詞語義信息融入句子中，拼接字與觸發(fā)詞的距離向量，增強句子與觸發(fā)詞的關聯。

（2）利用CNN和BiLSTM抽取詞級特征和句子級特征，并采用注意力機制將特征聚焦于與事件更相關的特征上，滿足事件抽取的特征要求。

（3）將事件抽取視為序列標注任務，通過CRF和BIO序列標注對句子中的每個字進行標注，得到多個觸發(fā)詞或事件論元，解決多事件抽取問題。


文章詳細內容下載請點擊：基于RoBERTa和多層次特征的中文事件抽取方法AET-電子技術應用-最豐富的電子設計資源平臺 (chinaaet.com)



【作者信息】

樂楊，胡軍國，李耀

（浙江農林大學 數學與計算機科學學院，浙江 杭州 311300）


此內容為AET網站原創(chuàng)，未經授權禁止轉載。