自然语言处理 -关键词提取之TFIDF方法

最新推荐文章于 2024-07-23 21:03:10 发布

原创

最新推荐文章于 2024-07-23 21:03:10 发布 · 2k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #自然语言处理 #算法

TF-IDF是一种衡量单词重要性的方法，适用于文本分类。它结合词频（TF）和逆文档频率（IDF）来识别具有区分能力的词语。在实现中，依赖于分词器如jieba，可以通过停用词表和IDF表提高效果。此外，也可以使用自定义分词器，例如基于词典或统计学习算法（如HMM、CRF）的分词方法，以提高分词准确性和领域适应性。

1. TF-IDF 简介

TF-IDF（Terms Frequency-Inverse Document Frequency）主要思想：如果某个单词在一篇文章中出现的频率高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。

词频（Term Frequency, TF），即一个词条在文本中出现的频率。逆向文件频率（Inverse Document Frequency, IDF），总文件数除以包含该词条的文件数，再取对数。包含词条的文档越少，则 IDF 越大，则说明词条有很好的区分能力。

TF-IDF 即 TF, IDF 的乘积，一个词条个特定文件中出现频率越高，且包含它的文件个数越少，则对应的 TF-IDF 值越大。 TF-IDF 倾向于过滤掉常见的词语，比如在多个文件中出现但频率较低的词语。

2. 算法实现

2.1 依赖于分词器

对于一段话，首先我们使用 jieba.cut() 进行分词。然后通过停用词字典移除停用词。每一个词的词频我们也很容易计算得到（_calculate()）。如果我们将这段话看成一个文档，那么所有词的 IDF 都一样，我们无法得到有用的信息，因此我们需要用于预测训练好的 IDF 表 (get_idf())。

IDF 文件来源于 jieba 组件。

import os
import math
import sys
import operator
import smart_open
import jieba
import jieba.posseg as pseg
from jieba import analyse
from typing import List
from collections import Counter

def get_idf(local_file: str = 'idf.txt') -> dict:
    # Use pre-train idf
    idf = dict(l.split(' ') for l in open(local_file, 'r').read().splitlines())
    idf

最低0.47元/天解锁文章