改进的TF-IDF算法在文本分类中的研究
信息技术与网络安全
张 伟1，2，石 倩1，何 霄1，王 晨1，李禾香1，李骥然1
(1.中国石油工程技术研究院有限公司 北京石油机械有限公司，北京102206； 2.中国人民大学 信息学院，北京100872)
摘要： 企业数字化建设过程中，对大量日常经营活动文本的数字化处理通常是多任务的，需要对文本数据同时完成信息抽取和文本分类任。在此应用场景下，为了实现更加精准的分类效果，提出一种改进的TF-IDF算法，将文本信息抽取结果也作为文本重要类别区分特征。通过引入信息增益方法得到改进的权重计算公式，进而得到改进的文本特征向量空间表示，再构建文本分类模型。实验以石油行业中文文本为例，选取测试文本2 006条进行文本分类对比实验，实验结果表明改进的TF-IDF算法精确率P达到99.3%，召回率R达到98.7%，相比于传统TF-IDF算法文本分类效果得到显著提高。
中圖分類號： TP391
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2021.07.012
引用格式： 張偉，石倩，何霄，等. 改進的TF-IDF算法在文本分類中的研究[J].信息技術與網絡安全，2021，40(7)：72-76，83.
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2021.07.012
引用格式： 張偉，石倩，何霄，等. 改進的TF-IDF算法在文本分類中的研究[J].信息技術與網絡安全，2021，40(7)：72-76，83.
Research on improved TF-IDF algorithm in text classification
Zhang Wei1，2，Shi Qian1，He Xiao1，Wang Chen1，Li Hexiang1，Li Jiran1
(1.Beijing Petroleum Machinery Co.，Ltd.，China Petroleum Engineering Technology Research Institute， Beijing 102206，China； 2.School of Information，Renmin University of China，Beijing 100872，China)
Abstract： In the process of digital construction of enterprises, the digital processing of a large number of daily business activity texts of enterprises is usually multi-task, and it is necessary to complete information extraction tasks and text classification tasks for text data at the same time. In this application scenario, in order to achieve a more accurate text classification effect, this paper proposes an improved TF-IDF algorithm, which uses the text information extraction result as the distinguishing feature of important text categories, and introduces the information gain method to obtain an improved weight calculation formula. Then an improved text feature vector space representation is obtained, and then a text classification model is constructed. The experiment takes the Chinese text of the petroleum industry as an example, and selects 2 006 test texts for text classification comparison experiments. The experimental results show that the improved TF-IDF algorithm has an accuracy rate P of 99.99% and a recall rate R of 99.87%. The algorithm text classification effect has been significantly improved.
Key words : text classification；VSM；TF-IDF；petroleum；support vector machine
0 引言
TF-IDF算法結構簡單，類別區(qū)分力強，且容易實現(xiàn)，被廣泛應用于信息檢索、文本挖掘、文本分類、信息抽取等領域中。但是，該算法僅考慮詞頻方面的因素，沒有考慮詞語出現(xiàn)的位置、詞性、樣本分布等信息，存在一定局限性。對此很多研究者都提出過改進算法，王小林在傳統(tǒng)TF-IDF算法基礎上，提出利用段落標注技術，對處于不同位置的詞語給予不同的位置權重，并對分詞結果中詞頻較高的同詞性詞語進行相似度計算，合并相似度較高的詞語，改進傳統(tǒng)算法中忽視特征詞位置因素和語義對相似度的問題[1]。覃世安針對傳統(tǒng)TF-IDF算法在分類文本類的數(shù)量分布不均時提取特征值效果差的問題，提出使用特征值在類間出現(xiàn)的概率比代替特征值在類間出現(xiàn)次數(shù)的改進TF-IDF算法[2]。葉雪梅認為傳統(tǒng)的特征詞權重TF-IDF算法未考慮到網絡新詞，針對特征項中的新詞對分類結果的影響給予不同權重值，提出基于網絡新詞改進文本分類TF-IDF算法[3]。這些改進算法都有效提高了模型性能，優(yōu)化分類結果，取得了不錯的實驗效果。但以往改進算法研究主要集中在通過完善算法本身的缺陷以實現(xiàn)詞條在文本中更加準確的權重賦值，忽略了其他類別區(qū)分特征因子。
本文詳細內容請下載：http://ihrv.cn/resource/share/2000003681
作者信息：
張 偉1，2，石 倩1，何 霄1，王 晨1，李禾香1，李驥然1
(1.中國石油工程技術研究院有限公司 北京石油機械有限公司，北京102206；
2.中國人民大學 信息學院，北京100872)
此內容為AET網站原創(chuàng)，未經授權禁止轉載。