《電子技術(shù)應(yīng)用》
您所在的位置：首頁(yè) > 人工智能 > 設(shè)計(jì)應(yīng)用 > 結(jié)合BERT語(yǔ)義融合和關(guān)鍵詞特征提取的方面級(jí)情感分類研究
結(jié)合BERT語(yǔ)義融合和關(guān)鍵詞特征提取的方面級(jí)情感分類研究
網(wǎng)絡(luò)安全與數(shù)據(jù)治理
胡耀庭，韓雨橋，石宇航，高宣，彭玉青
河北工業(yè)大學(xué)人工智能與數(shù)據(jù)科學(xué)學(xué)院
摘要： 方面級(jí)情感分類旨在確定句子中給定方面詞的情感極性。該任務(wù)先前提出的方法無(wú)法提取語(yǔ)義信息豐富的上下文初始表示向量，同時(shí)也不能精確地捕獲局部關(guān)鍵特征的范圍。因此，提出了一種結(jié)合BERT語(yǔ)義融合(BERTSF)和關(guān)鍵詞特征提?。↘FE）的方面級(jí)情感分類模型（KFE-BERTSF）。BERTSF通過(guò)門控融合函數(shù)融合BERT編碼器的高層語(yǔ)義信息，以提取語(yǔ)義信息更加豐富的上下文初始表示向量。KFE通過(guò)動(dòng)態(tài)閾值劃分句子的局部上下文和非局部上下文，并利用句法距離掩碼（SDMask）和距離感知注意力（ADA）提取兩個(gè)區(qū)域的局部關(guān)鍵特征?；谌齻€(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明， KFE-BERTSF取得了比基準(zhǔn)模型更好的成績(jī)。
中圖分類號(hào)：TP391文獻(xiàn)標(biāo)識(shí)碼：ADOI:10.19358/j.issn.2097-1788.2024.11.006引用格式：胡耀庭，韓雨橋，石宇航，等.結(jié)合BERT語(yǔ)義融合和關(guān)鍵詞特征提取的方面級(jí)情感分類研究［J］.網(wǎng)絡(luò)安全與數(shù)據(jù)治理，2024，43（11）：29-36.
Combining BERT semantic fusion and keyword feature extraction for aspect-level sentiment classification
Hu Yaoting，Han Yuqiao，Shi Yuhang，Gao Xuan，Peng Yuqing
School of Artificial Intelligence, Hebei University of Technology
Abstract： Aspect-level sentiment classification aims to determine the sentiment polarity of a given aspect term in a sentence. Previous methods for this task fail to extract semantically rich initial contextual representation vectors and cannot precisely capture the range of local key features. Therefore, this paper proposes KFE-BERTSF, an aspect-level sentiment classification model that combines BERT semantic fusion (BERTSF) and keyword feature extraction (KFE). BERTSF integrates high-level semantic information from the BERT encoder using a gating fusion function to extract semantically richer initial contextual representation vectors. KFE divides the sentence into local and non-local contexts using dynamic thresholds, and employs syntax distance mask (SDMask) and distance-aware attention (ADA) to extract local key features from both regions. Experimental results on three datasets show that KFE-BERTSF outperforms benchmark models.
Key words : aspect-level sentiment classification; BERT encoder; keyword feature; local context focus

引言

方面級(jí)情感分類是情感分析任務(wù)的一個(gè)分支，旨在確定句子中特定方面詞的情感極性。給定句子“Lots of extra space but the keyboard is ridiculously small.”，方面級(jí)情感分類（ASC）的任務(wù)是對(duì)句子中給定的方面詞“space”和“keyboard”，應(yīng)該可以得出對(duì)應(yīng)的情感極性分別為積極和消極。

之前的研究通過(guò)將循環(huán)神將網(wǎng)絡(luò)（RNN）與注意力機(jī)制［1］進(jìn)行結(jié)合，可以明顯提高此類任務(wù)的性能。但是注意力機(jī)制很容易受到噪聲的影響。局部上下文聚焦機(jī)制［2］（LCF）發(fā)現(xiàn)方面詞自身周圍的單詞對(duì)其情感極性的判別更加重要，通過(guò)使用LCF捕獲局部上下文，并使用動(dòng)態(tài)距離掩碼（CDM）或動(dòng)態(tài)距離加權(quán)（CDW）可以捕獲方面詞周圍的重要信息。同時(shí)，隨著預(yù)訓(xùn)練模型BERT［3］的出現(xiàn)，對(duì)BERT結(jié)構(gòu)做出針對(duì)性的調(diào)整也成為了研究方向。盡管上述方法已經(jīng)取得了顯著的成績(jī)，但是仍然存在以下兩點(diǎn)問(wèn)題。（1）未充分挖掘BERT語(yǔ)義信息。Ganesh等人［4］發(fā)現(xiàn)BERT自身高層的語(yǔ)義信息已經(jīng)足夠豐富，如何更好地利用這些信息仍有待進(jìn)一步研究。（2）局部關(guān)鍵特征提取不充分。在使用LCF的模型中使用固定閾值劃分局部上下文，其范圍不夠精確；同時(shí)在兩類上下文中使用的特征提取方法未能很好地提取局部關(guān)鍵信息。

為了解決上述問(wèn)題，本文提出了一個(gè)全新的模型，通過(guò)結(jié)合BERT語(yǔ)義融合和關(guān)鍵詞特征提取進(jìn)行方面級(jí)情感分類。一是提出BERT語(yǔ)義融合模塊，利用門控函數(shù)將BERT編碼器不同層的表示向量進(jìn)行融合。二是提出關(guān)鍵字特征提取模塊，根據(jù)句子長(zhǎng)度動(dòng)態(tài)確定局部上下文和非局部上下文的范圍，并通過(guò)句法二次掩碼和距離感知注意力提取兩類上下文的關(guān)鍵特征。三是引入?yún)f(xié)同注意力模塊，將局部特征、全局特征和方面詞特征融合，得到融合局部信息和方面詞信息的全局特征。

本文的主要貢獻(xiàn)總結(jié)如下：

（1）將BERT編碼器的第9~12層通過(guò)針對(duì)性設(shè)計(jì)的門控函數(shù)進(jìn)行語(yǔ)義融合，提取到了包含豐富語(yǔ)義的句子初始的上下文表示向量。

（2）提出了關(guān)鍵字特征提取模塊。該模塊通過(guò)句子長(zhǎng)度動(dòng)態(tài)確定局部上下文和非局部上下文，并用句法二次掩碼和距離感知注意力來(lái)分別提取對(duì)應(yīng)區(qū)域的局部關(guān)鍵特征。

（3）設(shè)計(jì)了全新的協(xié)同注意力。通過(guò)使用注意力機(jī)制融合全局特征、局部特征和方面詞特征來(lái)獲得包含豐富語(yǔ)義信息的全新特征。


本文詳細(xì)內(nèi)容請(qǐng)下載：

http://ihrv.cn/resource/share/2000006226


作者信息：

胡耀庭，韓雨橋，石宇航，高宣，彭玉青

（河北工業(yè)大學(xué)人工智能與數(shù)據(jù)科學(xué)學(xué)院，天津300401）


Magazine.Subscription.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。