摘  要： 針對目前互聯(lián)網(wǎng)“富信息化”現(xiàn)象，提出了基于機器學習的網(wǎng)絡熱點話題預測的思想。該思想通過總結能盡量準確描述熱點話題的一組特征，得到每篇新聞各自的特征向量，并針對大量近期已知是否熱門的隨機新聞樣本內容進行聚類處理?；诮丫珳实姆诸愃惴?，利用支持向量機將向量映射到高維空間達到分類目的。在機器學習過程中，采用大量試驗的方法修改并完善特征向量的組成、度量及權重，最終達到準確作出熱點話題預測的目的。

　　關鍵詞： 機器學習；網(wǎng)絡媒體；熱點話題；特征向量；分詞；預測

　　互聯(lián)網(wǎng)信息發(fā)布的便利性使得大眾每天面對爆炸性增長的信息沖擊，大量文本及文本信息在豐富大眾生活的同時，也給用戶帶來了困擾。人們在獲取固定信息的同時，往往希望獲取特定領域的流行信息。為滿足人們的這種需求，互聯(lián)網(wǎng)新聞給出了相應的對策，如訂閱熱門話題、熱門新聞上首頁等措施。這些雖然在一定程度上解決了上述需求，但熱門信息的排序仍然需要人工手動添加完成，從時間成本和人工成本上來說都十分浪費，并且用戶也無法及時得到最新的熱門資訊。

　　為此，本文提出了基于機器學習的網(wǎng)絡熱點話題預測方法，該方法可以有效地滿足互聯(lián)網(wǎng)用戶的上述需求，并幫助新聞工作者有效減少工作量。利用機器學習帶來的便利性，不僅可以快速分類出熱門新聞話題，并且可以做到按熱門排序，這樣既能方便用戶快速聚焦社會生活中的熱門話題，同時也能幫助網(wǎng)頁新聞工作者大量減少因為排序而帶來的簡單重復的工作量。

1 國內外發(fā)展現(xiàn)狀

　　在國際上，熱門話題的發(fā)掘工作層出不窮。彭菲菲等人針對信息冗余等現(xiàn)象提出了資源整合方法，對熱點話題發(fā)現(xiàn)的關鍵技術做了一些改進[1]；王巍等人針對Chen Kuan新聞報道側重點的變化提出了基于多中心模型的熱點話題發(fā)現(xiàn)算法[2]；賴錦輝等人針對微博中孤立點較多的現(xiàn)象提出了消除孤立點的微博熱點話題發(fā)現(xiàn)方法，消除孤立點再用CURE算法聚類，效果較好，但僅針對特征明顯的微博進行研究[3]；黃蕉平等人基于微博進行了負面新聞的早期預測研究工作，由于微博特有的轉發(fā)量、點贊數(shù)等多維度為其研究成果在其他領域的應用帶來了一定的局限性。除了以上學術界的相關工作研究，商業(yè)領域也存在許多熱點話題資訊系統(tǒng)，比如常用的谷歌手機軟件Google Currents2.0在最近的更新中就特別加入了Breaking Stories版塊?？偨Y以上研究成果，國內外仍沒有很好的熱點話題預測研究，有的側重點在挖掘而不在預測，有的著眼于預測卻不具有很好的擴展性。

　　本文提出一種實用性廣、可預測性強的熱點話題預測方法，總結出一組能盡量準確描述熱點話題特征，得到每篇新聞各自的特征向量，然后基于這組特征對大量近期隨機已知是否熱門的樣本新聞文本內容進行聚類處理，利用支持向量機對數(shù)據(jù)進行分類。由于機器學習是一個需要反復修改的過程，該方法的另一個研究重點就是在大量試驗中修改并完善特征向量的組成、度量以及權重，最終希望能達到準確作出熱點話題分類即預測的目的。

2 基于機器學習的熱點話題預測方法

　　根據(jù)互聯(lián)網(wǎng)數(shù)據(jù)挖掘技術和已有的新聞話題預測模型，得到圖1所示的整體設計結構圖。該結構圖主要由數(shù)據(jù)挖掘器、特征提取器以及分類器3部分構成。

　　從第三步訓練結果→支持→測試結果→反饋→特征提取器可以看出，該步驟是一個不斷循環(huán)的過程，目的在于根據(jù)測試結果不斷調整特征值，直到達到滿意的效果。

　　由于步驟模塊化，該結構設計可應對多種不同需求的話題預測，支持不同新聞網(wǎng)站、不同類別下新聞預測以及熱點或非熱點的新聞話題預測。

　　2.1 數(shù)據(jù)挖掘問題

　　本節(jié)以CNN國際新聞網(wǎng)站為例，闡述新聞挖掘提取過程。該新聞網(wǎng)站每天有上萬條新聞，如何準確挖掘及提取4個關鍵屬性是數(shù)據(jù)挖掘器需要解決的主要問題。設計思路是將網(wǎng)站上的無數(shù)條鏈接看做一個樹狀結構，CNN主頁URL即為該樹狀結構的父節(jié)點。首先對每一層進行廣度優(yōu)先遍歷，將獲取到的新聞鏈接存入隊列中，接著進行深度優(yōu)先遍歷，直到獲取到數(shù)量足夠多的新聞為止。該方法的優(yōu)點是挖掘到的新聞不會重復。針對每一個新聞鏈接，首先利用httpclient客戶端編程工具包提取網(wǎng)頁源代碼，通過HTML解析技術分別將新聞標題、作者、發(fā)布時間和正文4項要素提取出來，每提取一篇新聞即將4要素存入連接好的數(shù)據(jù)庫中，該表的格式設計如表1所示。

　　2.2 特征提取問題

　　2.2.1 關鍵詞模式匹配技術簡介

　　模式（Schema）是指按照某種結構組織起來的多個元素的集合，模式匹配是指將兩個模式作為輸入，計算模式元素之間語義上的對應關系的過程[4]。本文中特征向量中的兩個元素——知名度和敏感度，需要計算新聞文章中出現(xiàn)的名人數(shù)或敏感詞的個數(shù)，為了實現(xiàn)這一計算，故選用模式匹配技術。由于熱點話題的特點，在新聞話題預測中不需要找出具體匹配位置。

　　2.2.2 特征提取

　?。?）知名度。建立名人庫[5]，匹配新聞，若出現(xiàn)詞庫中人名則該特征記為1，否則記為0。

　　famous=0（初始值）（1）

　　（2）敏感度。建立敏感詞詞庫（如explosion，death等），新聞標題及內容中出現(xiàn)的敏感詞次數(shù)記為a，敏感詞庫總次數(shù)為b，定義敏感度為a/b（0-1）。

　　Sensitivity=a/b（2）

　?。?）文本長度。新聞正文長度過長或過短都會影響其熱度，首先設定該長度閾值為500，該值根據(jù)實驗測試結果不斷調整。

　　Length=500（初始值）（3）

　?。?）時效性。當前時間與發(fā)表時間求差，差值x以24為閾值。

　　（5）生動性。統(tǒng)計一篇新聞的形容詞個數(shù)m占整篇新聞詞數(shù)n的比例（0~1），比例高者權重高，新聞話題熱度更高。

　　Vivid=m/n（5）

　　2.3 分類器問題

　　2.3.1支持向量機技術簡介

　　支持向量機（Support Vector Machine）是Cortes和Vapnik于1995年首先提出的，它的原理是尋找一個最優(yōu)的分類超平面，在保證精度的同時能夠使平面兩側的空白做到最大化，所以理論上來說支持向量機可以實現(xiàn)線性數(shù)據(jù)的最優(yōu)分類[6]。上文提到的特征向量就是一組可分的線性數(shù)據(jù)，故選用支持向量機技術。

　　2.3.2 機器學習技術簡介

　　機器學習ML（Machine Learning）就是讓機器來模擬人類的學習功能，是一門研究怎樣用機器來模擬或實現(xiàn)人類學習活動的學科，要使計算機具有某種學習能力，就需要為其建立相應的學習系統(tǒng)。本文背景下的學習系統(tǒng)基本模型如圖2所示。

　　其中，新聞信息為互聯(lián)網(wǎng)中實時更新的新聞內容；關鍵詞提取是將新聞內容等要素加工為知識的過程；知識庫則是用來存儲上一環(huán)節(jié)得到的知識；執(zhí)行環(huán)節(jié)是利用知識庫中的知識完成分類的過程，并且把信息反饋給學習環(huán)節(jié)（關鍵詞提?。_到良性學習的目的。

　　2.3.3 分類器原理

　　將上節(jié)提取出的特征集拿出90%作為特征訓練集放入分類器中進行分類學習，分類器得到分類標準后將剩下的10%特征集用于測試訓練集，檢測分類標準的準確度及可信性。將結果反饋到特征提取器中，并不斷進行特征及權重的調整[7]。最終達到分類出熱點新聞和非熱點新聞的目的，即熱點新聞話題預測的目的。

　　在當今信息爆炸的時代背景下，預測熱點新聞話題的工作具有十分重要的實際意義。根據(jù)目前已有的大量相關工作，提出由數(shù)據(jù)挖掘器、特征提取器和分類器3部分組成的熱點新聞話題預測模型，該模型通過機器學習的手段不斷進行特征及權重的調整，從而達到預測熱點話題的目的。這項工作的研究成果，不僅能引導用戶去關注社會和生活中的焦點話題，同時也能幫助網(wǎng)絡新聞工作者降低繁重重復的工作量，因此，它具有較為廣泛的適用性，并能創(chuàng)造一定的經(jīng)濟效益和社會效益。

　　參考文獻

　　[1] 彭菲菲.網(wǎng)絡熱點話題發(fā)現(xiàn)的關鍵技術研究[D].北京：中國礦業(yè)大學（北京），2012.

　　[2] 王巍，楊武，齊海鳳.基于多中心模型的網(wǎng)絡熱點話題發(fā)現(xiàn)算法[J].南京理工大學學報（自然科學版），2009，33（4）：422-426.

　　[3] 賴錦輝，梁松.一種消除孤立點的微博熱點話題發(fā)現(xiàn)方法[J].計算機應用與軟件，2014（1）：105-137，139.

　　[4] RAHM E， BERNSTEIN P A. A survey of approaches to automatic schema matching[J]. The VLDB Journal， 2001， 10（4）： 334-350.

　　[5] 馬子恩.熱點事件新聞語料庫的研制及詞匯研究[D].南京：南京師范大學，2012.

　　[6] LI S， ZHAO J， SONG Z， et al. Study on topic tracking system based on SVM[C]. 2011 Fourth International Sym-

　　posium on Knowledge Acquisition and Modeling（KAM）， IEEE， 2011： 83-87.

　　[7] ZHENG Y， LU R. An adaptive topic tracking method based on feedback stories[C]. International Symposium on Information Technology in Medicine and Education， 2012（2）：1021-1025.