《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 通信與網(wǎng)絡(luò) > 設(shè)計應(yīng)用 > 基于隱馬爾科夫模型的語義傾向性研究
基于隱馬爾科夫模型的語義傾向性研究
來源:微型機(jī)與應(yīng)用2010年第17期
章棟兵,姚寒冰,顏 昕
(武漢理工大學(xué) 計算機(jī)學(xué)院,湖北 武漢 430063)
摘要: 以網(wǎng)絡(luò)評論為研究對象,試圖把隱馬爾科夫模型從已經(jīng)成功應(yīng)用的模式識別領(lǐng)域推廣到語義傾向性分析系統(tǒng)。與傳統(tǒng)傾向性識別系統(tǒng)不同的是,此理論通過建立隱馬爾科夫分類模型,將未知文本進(jìn)行狀態(tài)序列化,得到文本中所有的詞語所對應(yīng)的傾向性,然后選定多數(shù)詞的傾向性來作為文本的總體語義傾向。實驗表明,當(dāng)訓(xùn)練數(shù)據(jù)越全面、規(guī)模越大時,識別率越高。
Abstract:
Key words :

摘  要: 以網(wǎng)絡(luò)評論為研究對象,試圖把隱馬爾科夫模型從已經(jīng)成功應(yīng)用的模式識別領(lǐng)域推廣到語義傾向性分析系統(tǒng)。與傳統(tǒng)傾向性識別系統(tǒng)不同的是,此理論通過建立隱馬爾科夫分類模型,將未知文本進(jìn)行狀態(tài)序列化,得到文本中所有的詞語所對應(yīng)的傾向性,然后選定多數(shù)詞的傾向性來作為文本的總體語義傾向。實驗表明,當(dāng)訓(xùn)練數(shù)據(jù)越全面、規(guī)模越大時,識別率越高。
關(guān)鍵詞: 語義傾向性;隱馬爾科夫模型;序列化

    網(wǎng)絡(luò)媒體被公認(rèn)為是繼報紙、廣播、電視之后的“第四媒體”,成為反映社會輿情的主要載體之一。人們希望能快速高效地在浩如煙海的網(wǎng)絡(luò)信息中提取對于諸如人物、事件、傳媒、產(chǎn)品等有價值的評價信息。如何有效地提取文本信息,推斷其語義傾向,已經(jīng)成為當(dāng)前自然語言與信息安全研究領(lǐng)域的熱點(diǎn)問題[1]。
    當(dāng)前流行的語義傾向性分析系統(tǒng)可以分為兩個步驟:首先是識別詞匯的語義(短語)傾向性[2],然后利用不同的策略根據(jù)詞匯(短語)的傾向性給出整個文本的語義傾向評價。目前主要有三種研究思路:(1)對所有詞匯的傾向性評分進(jìn)行統(tǒng)計求和,根據(jù)最終的得分正負(fù)來評價文本的傾向性[3]。(2)采用機(jī)器學(xué)習(xí)的方式根據(jù)詞匯的傾向性訓(xùn)練出語義傾向分類器[4],這是目前比較流行的思路,總體效果比統(tǒng)計求和要好。這兩種思路是基于概率統(tǒng)計的,領(lǐng)域性限制小。(3)基于“格語法”分析的思路。該思路很難全面反應(yīng)樣本空間規(guī)律,具有一定的領(lǐng)域限制性。
    本文利用隱馬爾科夫模型HMM(Hidden Markov Models)在文本處理方面的優(yōu)勢,首先對其理論進(jìn)行介紹,然后根據(jù)現(xiàn)有學(xué)者對HMM在文本分類中的應(yīng)用和文本分類技術(shù)在傾向性分析中應(yīng)用的研究結(jié)果,提出將HMM應(yīng)用于文本傾向性研究的理論,并用實驗證明此理論的可行性。
1 理論基礎(chǔ)
1.1 隱馬爾科夫模型

    隱馬爾可夫模型[5]作為一種統(tǒng)計模型,非常適合處理時變信號,用于動態(tài)過程時間序列建模并具有強(qiáng)大的時序模式分類能力,理論上可處理任意長度的時序。HMM是一個雙重隨機(jī)過程,其中之一是Markov鏈,其基本隨機(jī)過程為描述狀態(tài)的轉(zhuǎn)移;另一個隨機(jī)過程描述狀態(tài)與觀察值之間的統(tǒng)計對應(yīng)關(guān)系,只能看到觀察值,而不能看到狀態(tài),即通過一個隨機(jī)過程去感知狀態(tài)的存在及其特性。
1.2 HMM在文本分類中的應(yīng)用
    羅雙虎[6]把待分類文本描述成一系列狀態(tài)演化的隱Markov過程,其中狀態(tài)以特定的概率產(chǎn)生代表文本的特征項。用序列模式來描述文本類,文本序列通過與隱Markov模型的匹配,求出其對應(yīng)狀態(tài)序列和最大輸出概率,以比較各個文本類的結(jié)果,達(dá)到文本分類的目的。
    龍麗君[7]對關(guān)鍵字所在的句子構(gòu)成的詞序列建立HMM,以判斷句子所屬的類別。為了建立HMM,將詞語所屬的類別理解為狀態(tài),將所選擇的關(guān)鍵字理解為輸出值。這樣就把要判定一個觀測序列(一個句子)的整體所屬的類別轉(zhuǎn)換為己知模型和觀測序列,求出全局最優(yōu)的整體序列。觀測序列的整體所屬類別即為關(guān)鍵字所屬類別,或者說觀測序列的整體類別即為狀態(tài)序列中居多數(shù)的狀態(tài)對應(yīng)的類別。
1.3 文本分類技術(shù)在傾向性分析中的應(yīng)用
    1997年,Hatzivassiloglou和McKeown嘗試使用監(jiān)督學(xué)習(xí)的方法對詞語進(jìn)行語義傾向判別,通過對訓(xùn)練語料的學(xué)習(xí)進(jìn)行語義傾向判別,準(zhǔn)確率約82%,在加入篇章中形容詞之間的接續(xù)信息后,準(zhǔn)確率提升到約90%[2]。2003年,Turney在其論文[8]中提出了利用統(tǒng)計信息對單詞進(jìn)行語義傾向判斷的新方法。文本的語義傾向判別也可被看作一個褒貶的分類問題,因此,文本分類中的方法同樣被應(yīng)用到了語義傾向判別研究中。
2 HMM在語義傾向性研究的應(yīng)用
    本文是針對網(wǎng)絡(luò)評論,判斷其表達(dá)的是支持(褒義)、反對(貶義)還是中立(中性)的語義傾向性。

    (4)A為狀態(tài)轉(zhuǎn)移概率矩陣,即從一種詞語類別轉(zhuǎn)移
2.2 實驗系統(tǒng)框架
    系統(tǒng)整體框架如圖1所示,整個系統(tǒng)分為訓(xùn)練階段和識別階段。

2.2.1 語料庫準(zhǔn)備
    訓(xùn)練語料庫是國內(nèi)還沒有公開的文本傾向語料庫。本實驗全部由人工收集,然后對所提取的所有的句子進(jìn)行分詞、標(biāo)注之后,去掉連詞、助詞和代詞等不具傾向性的無用詞,得到最終的語料庫。
    否定詞表:帶否定意義的詞,如:不、不是、非等。
2.2.2 訓(xùn)練階段
    首先根據(jù)初始參數(shù)建立初始模型,然后使用Baum-Welch算法[5]對參數(shù)進(jìn)行訓(xùn)練,得出最終分類模型。
2.2.3 識別階段
    將未知評論文本經(jīng)預(yù)處理得到字串(W1,W2,W3,…,Wn)作為上文中訓(xùn)練得到的HMM分類模型的觀察序列,通過維特比(Viterbi)算法[5]得到最優(yōu)狀態(tài)序列S,然后使用以下算法得出整個語句的語義傾向性,如圖2所示。

    Array<Word> W;//字串
    Array<State> S;//最優(yōu)狀態(tài)序列
    Dictionary Deny;//否定詞表
    Integer Length;//字串長度,即字串中詞語的數(shù)目
    Procedure getOrientation ()
      //句子傾向性為狀態(tài)序列中具有傾向(非中立)的狀態(tài)占多數(shù)的狀態(tài)所對應(yīng)的傾向
      //由于網(wǎng)絡(luò)評論中作者的傾向多數(shù)是在句首,取首個具有語義傾向的狀態(tài)對應(yīng)的傾向為整個句子的語義傾向性
      Orientation orientation=“中性”;
      Integer numP=0;//S1(支持)的數(shù)量
      Integer numN=0;//S2(反對)的數(shù)量
      Orientation firstOrientation;//記錄句子中首個非中性的狀態(tài)
      For  i ← 0  to  Length-1  do
          If S[i]!=S3 then                
            If i>0 and W[i-1] ∈Deny then
              //此狀態(tài)不是句首且此狀態(tài)對應(yīng)的觀察值是否定詞時
               //狀態(tài)類別以相反類別計數(shù)
              S[i]==S1?numN++;numP++;
          Else
              S[i]==S1?numP++;numN++;
          End If                
          If firstOrientation==NULL then
            firstOrientation =(S[i]== S1?“支持”:“反對”);
            End If
       End If
      Repeat
      If numP>numN then
        orientation=“支持”;
      Else If numP<numN then
        orientation=“反對”;
      Else
        orientation=firstOrientation;
      End If
    end getOrientation
2.3 應(yīng)用舉例
    例句:“我同意你的觀點(diǎn)”。
    經(jīng)分詞結(jié)果為:“我/r 同意/v 你/r 的/u 觀點(diǎn)/n”。去除無用詞得到觀察值序列為:“同意/v 觀點(diǎn)/n,最后經(jīng)過識別得出最優(yōu)狀態(tài)序列為:S1,S3。由于S1出現(xiàn)1次,而沒有出現(xiàn)S2,故這個句子的傾向性為S1的傾向類別:支持。
3 實驗結(jié)果及分析
    實驗文本是來自不同網(wǎng)站上下載的各種評論共2 000條,所有的評論都經(jīng)過分詞、標(biāo)注和去無用詞處理,然后手工分為:支持(褒義)、反對(貶義)和中立(中性)3個類別。然后在每個類別中分別取200、300、400、500條,共600、900、1 200、1 500條作為本實驗的訓(xùn)練數(shù)據(jù),進(jìn)行封閉測試并對剩余的評論進(jìn)行開放測試。實驗結(jié)果如表1、表2所示。

    從表中結(jié)果可以看出,封閉測試可以達(dá)到很高的識別率,可見訓(xùn)練語料庫的規(guī)模將直接影響分析結(jié)果。當(dāng)語料更全面、覆蓋面更廣泛時,識別率將大大提高,因此建立一個良好的訓(xùn)練語料庫的識別方法將有很好的應(yīng)用前景。
    本文從單個句子出發(fā),研究其傾向性分析方法,從實驗結(jié)果數(shù)據(jù)可以看出,此方法有很好的識別率,但需面對兩個問題:(1)網(wǎng)絡(luò)文本的復(fù)雜性:如語句的語氣、具有傾向性的詞語所針對不同的評價對象和網(wǎng)絡(luò)新詞的頻繁出現(xiàn)等情況;(2)語料庫的整理:語料庫的完整性和準(zhǔn)確性將直接影響分析方法的準(zhǔn)確率,而國內(nèi)還沒有公開的文本傾向語料庫。這些問題將做進(jìn)一步地研究和改進(jìn)。
參考文獻(xiàn)
[1] 來火堯,
劉功申.基于主題相關(guān)性分析的文本傾向性研究[J].信息安全與通信保密,2009(3):77-78.
[2] HATZIVASSILOGLOU V, MEKEOWN K R. Predicting the semantic orientation of adjectives[A]. In: Proceedings of the 35th Annual Meeting of the Association for Computational Liguistics and the 8th Conference of the European Chapter of the ACL, 1997:174-181.
[3] PETER T. Thumbs up or thumbs down? Semantic orientation applied to unsupervised classification of reviews[A]. In: Proceedings of the 40th Annual Meeting of the Association for Computational Liguistics, 2002.
[4] 徐琳宏,林鴻飛,楊志豪.基于語義理解的文本傾向性識別機(jī)制[J].中文信息學(xué)報,2007,21(01):98-102.
[5] 宗成慶.統(tǒng)計自然語言處理[M].北京:清華大學(xué)出版社,2008.
[6] 羅雙虎,歐陽為民.基于隱Markov模型的文本分類[J].計算機(jī)工程與應(yīng)用,2007,43(30):179-181.
[7] 龍麗君.網(wǎng)絡(luò)內(nèi)容監(jiān)管系統(tǒng)中基于局部信息的語義傾向性識別算法[D].南京.南京理工大學(xué),2004.
[8] PETER T,MICHAEL L. Measuring praise and criticism: Inference of semantic orientation from association[J]. ACM Transactions on Information Systems, 2003,21(4):315-346.

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。