TF-IDF原理及实现&&互信息的原理和实现

最新推荐文章于 2025-03-26 20:37:24 发布
原创 最新推荐文章于 2025-03-26 20:37:24 发布 · 858 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了TF-IDF原理，解释了为何使用TF-IDF以及其作用，通过IDF公式和代码实现展示了TF-IDF的计算过程。此外，还探讨了点互信息（PMI）和互信息的概念，以及它们在衡量事件相关性和特征选择中的应用。

一. TF-IDF原理

1.1 为什么要用TF-IDF

在将文本分词并向量化后，我们可以得到词汇表中每个词在各个文本中形成的词向量，比如在文本挖掘预处理之向量化与Hash Trick这篇文章中，我们将下面4个短文本做了词频统计：

corpus=[“I come to China to travel”,
“This is a car polupar in China”,
"I love tea and Apple ",
“The work is to write some papers in science”]
　　　　不考虑停用词，处理后得到的词向量如下：

[[0 0 0 1 1 0 0 0 0 0 0 0 0 0 0 2 1 0 0]
[0 0 1 1 0 1 1 0 0 1 0 0 0 0 1 0 0 0 0]
[1 1 0 0 0 0 0 1 0 0 0 0 1 0 0 0 0 0 0]
[0 0 0 0 0 1 1 0 1 0 1 1 0 1 0 1 0 1 1]]
　　　　如果我们直接将统计词频后的19维特征做为文本分类的输入，会发现有一些问题。比如第一个文本，我们发现"come","China"和“Travel”各出现1次，而“to“出现了两次。似乎看起来这个文本与”to“这个特征更关系紧密。但是实际上”to“是一个非常普遍的词，几乎所有的文本都会用到，因此虽然它的词频为2，但是重要性却比词频为1的"China"和“Travel”要低的多。如果我们的向量化特征仅仅用词频表示就无法反应这一点。因此我们需要进一步的预处理来反应文本的这个特征，而这个预处理就是TF-IDF。

1.2TF-IDF的作用

首先他就是解决了上述所说的某些词出现的次数多但却不重要

原理:
　　前面的TF也就是我们前面说到的词频，我们之前做的向量化也就是做了文本中各个词的出现频率统计，并作为文本特征，这个很好理解。关键是后面的这个IDF，即“逆文本频率”如何理解。在上一节中，我们讲到几乎所有文本都会出现的"to"其词频虽然高，但是重要性却应该比词频低的"China"和“Travel”要低。我们的IDF就是来帮助我们来反应这个词的重要性的，进而修正仅仅用词频表!
　　概括来讲， IDF反应了一个词在所有文本中出现的频率，如果一个词在很多的文本中出现，那么它的IDF值应该低，比如上文中的“to”。而反过来如果一个词在比较少的文本中出现，那么它的IDF值应该高。比如一些专业的名词如“Machine Learning”。这样的词IDF值应该高。一个极端的情况，如果一个词在所有的文本中都出现，那么它的IDF值应该为0。

上面是从定性上说明的IDF的作用，那么如何对一个词的IDF进行定量分析呢？这里直接给出一个词x的IDF的基本公式如下：

在这里插入图片描述

其中，N代表语料库中文本的总数，而N(x)代表语料库中包含词x的文本总数。为什么IDF的基本公式应该是是上面这样的而不是像N/N(x)这样的形式呢？这就涉及到信息论相关的一些知识了。感兴趣的朋友建议阅读吴军博士的《数学之美》第11章。

上面的IDF公式已经可以使用了，但是在一些特殊的情况会有一些小问题，比如某一个生僻词在语料库中没有，这样我们的分母为0， IDF没有意义了。所以常用的IDF我们需要做一些平滑，使语料库中没有出现的词也可以得到一个合适的IDF值。平滑的方法有很多种，最常见的IDF平滑后的公式之一为：
　　　　在这里插入图片描述
那么最后的公式就是
在这里插入图片描述

1.3代码实现

这里直接用tfidftransformer做的，代码很简洁

corpus
最低0.47元/天 解锁文章
自然语言处理之文本分类：Logistic回归与词袋模型及TF-IDF
zhubeibei168的博客
05-11 1019
词袋模型(Bag of Words, BoW)是自然语言处理中一种常用的文本表示方法。它将文本数据转换为数值向量，以便机器学习算法可以处理。在词袋模型中，文档被表示为一个词的集合，忽略词序和语法，只考虑词的出现频率。每个词在文档中出现的次数被记录下来，形成一个向量，这个向量的长度等于词典的大小。词袋模型是文本表示的基础，通过将文本转换为数值向量，使得机器学习算法可以处理文本数据。然而，它也存在一些局限性，如信息丢失和维度灾难。
信息检索中的主要算法模型（TF-IDF、BM25等）以及IR系统的原理、架构设计和实现过程，阐述基于BM25模型的中文信息检索系统的实现原理和关键技术。并结合实际案例实践展示其优势及其局限性
AI天才研究院
08-27 563
近几年来，以人工智能（AI）为核心的技术革命带动了机器学习、深度学习、强化学习等领域的高速发展，取得了长足的进步。在这个过程中，工程师们提出了一系列关于“从数据到AI”、“构建和部署AI系统”、“控制AI”、“超越AI”等诸多问题的挑战。为了解决这些问题，提升人工智能的应用效率和效益，工程师们不断探索新的方法论和技术。在这个信息爆炸的时代，如何准确、有效地筛选信息资源成为各类信息工作者面临的重要课题之一。而有效的信息筛选策略则直接影响着信息工作者的效率和产出。
TF-IDF原理介绍
weixin_43668299的博客
07-31 616
什么是TF-IDF IF-IDF(term frequency-inverse document frequency)词频-逆向文件频率。在处理文本时，如何将文字转化为模型可以处理的向量呢？IF-IDF就是这个问题的解决方案之一。字词的重要性与其在文本中出现的频率成正比(IF)，与其在语料库中出现的频率成反比(IDF)。 IF IF：词频。IF(w)=(词w在文档中出现的次数)/(文档的总词...
TF-IDF原理及使用
热门推荐
一路风景
12-18 16万+
一. 什么是TF-IDFTF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率). 是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。 上述引用总结就
TF-IDF的原理和实现
weixin_41097516的博客
11-08 806
1、TF-IDF原理 是Term Frequency - Inverse Document Frequency的缩写，即“词频-逆文本频率”。它由两部分组成，TF和IDF TF也就是我们前面说到的词频，我们之前做的向量化也就是做了文本中各个词的出现频率统计，并作为文本特征 IDF，即“逆文本频率”，几乎所有文本都会出现的"的"其词频虽然高，但是重要性却应该比词频低的"西瓜"和“中国”要低 ...
TF-IDF原理理解
壑壑哒的博客
05-26 7537
什么是TF-IDF：       TF-IDF(Term Frequency-Inverse DocumentFrequency, 词频-逆文件频率)，一种用于资讯检索和资讯探勘的常用加权技术。       TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。T...
文章的 tfidf原理的python实现
阳光的专栏
03-22 2275
python tfidf原理简单实现 根据http://www.jb51.net/article/64695.htm 上面的原理，进行简单的注解，让自己进行了梳理 # coding:utf-8 # 改变自：http://www.jb51.net/article/64695.htm 并进行了注解 from sklearn.feature_extraction.text import Cou
TF-IDF算法：从文本中发现价值的黄金法则
qq_42538588的博客
06-14 1926
TF-IDF（Term Frequency-Inverse Document Frequency）算法是文本处理领域中一种常用的信息检索和自然语言处理算法。该算法通过计算文档中词语的重要性来实现文本的特征提取和关键信息抽取，被广泛应用于文本分类、信息检索、关键词抽取等领域。本章将介绍TF-IDF算法的基本思想、原理以及应用场景。TF-IDF算法最初作为信息检索领域的一种关键技术而被引入，其本质是一种统计方法，能够评估一个词对于一个文档集或者一个语料库中的一个文档的重要性。
TF-IDF介绍（原来+代码）
sun_xiao_kai的博客
06-26 9821
概念1、TF-IDF原理 无论中文文本还是英文文本，都要首先对文本进行分词处理，而后需要对文本进行词向量表示。
TF-IDF计算程序
05-23
计算TF-IDF的程序，使用java编写，能计算出输入文档的TF-idf值
TFIDF文章以及代码实现
04-28
java语言写的一个TFIDF代码，可以用于特征选择，是自然语言处理的一个经典算法。
matlab开发-程序计算IDF曲线
08-27
matlab开发-程序计算IDF曲线。强度持续频率计算
TF-IDF 详解
xiaoQL520的博客
10-27 2630
TF-IDF(Term Frequency–Inverse Document Frequency)是一种统计方法，用以评估一个“词”对于一个文件集或一个语料库中的其中一份文件的重要程度。“词”的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。其中，TF是词频(Term Frequency)，IDF是逆向文件频率(Inverse Document Freque...
matlab tf-idf,java 兑现tfidf
weixin_34502439的博客
03-25 210
java 实现tfidftfidf 做自然语言理解的经常用。文档的作为权重计算，许多初学者搞不清楚，权重计算特征选择。针对文本分类而言 作为很简单的说明，特征选择都跟 类别有关比如 卡方 信息增益而权重计算则与类别无关 比如 tfidf，tf具体公式请参看 http://zh.wikipedia.org/wiki/TF-IDF下面代码 写的比较粗陋。高手请避开。，，，，，训练集可以上搜狗数据集上下...
TF-IDF算法
jdjhcn的博客
03-26 1768
（1）语料库中存放的是在语言的实际使用中真实出现过的语言材料。（2）语料库是以电子计算机为载体承载语言知识的基础资源。（3）真实语料需要经过加工（分析和处理），才能成为有用的资源。举例理解：假设有一个文件夹，文件夹里面有2000篇文章，想要提取出每篇文章中的关键词。这里的文件夹内的文件就是一个语料库 ，而关键词要具有代表性，能够作为本文章与其他文章之间区分开来。
NLP深入学习（三）：TF-IDF 详解以及文本分类/聚类用法
日常学习与专研的记录
01-18 5435
本文主要介绍nlp相关的tf-idf详细用法，包含文本分类、文本聚类等。
[MATLAB] Simple TF-IDF implementation
Pattern Analysis and Computer Vision
10-24 2933
Term-Frequency word weighting scheme is one of most used in normalization of document-term matrices in text mining and information retrieval. See wikipedia for details.     function Y = tfidf( X )%
秒懂TF IDF 代码实现
大义Python
06-03 364
TF-IDF算法步骤： 1） 计算词频： 词频 = 某个词在文章中出现的次数 考虑到文章有长短之分，考虑到不同文章之间的比较，将词频进行标准化 词频 = 某个词在文章中出现的次数/文章的总词数 或者 词频 = 某个词在文章中出现的次数/该文出现次数最多的词出现的次数 2） 计算逆文档频率 需要一个语料库（corpus）来模拟语言的使用环境。 逆文档频率 = log(语料库的文档总数/(包含该词的文档数 + 1)) 3） 计算TF-IDF TF-IDF = 词频（TF）* 逆文档频率（IDF） #语料库con
手动实现tf-idf
weixin_34174422的博客
12-20 361
2019独角兽企业重金招聘Python工程师标准>>> ...
TF-IDF 向量入模型，特征选择
最新发布
07-09
<think>首先，用户的问题是：“我想在机器学习中使用TF-IDF向量进行特征选择的方法 请问TF-IDF 向量 特征选择 机器学习 模型输入”。这翻译为：我想在机器学习中使用TF-IDF向量进行特征选择的方法。请问TF-IDF向量、特征选择、机器学习模型输入。 用户的关键词是：TF-IDF向量、特征选择、机器学习模型输入。我需要提供关于如何在机器学习中使用TF-IDF向量进行特征选择的指导。 系统级指令： - 所有行内数学表达式必须使用$...$格式。 - 独立公式必须使用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识。 - 回答结构清晰，帮助用户逐步解决问题。 - 尽量保证回答真实可靠。 参考站内引用： - [^1]: 文本分类任务中，使用TF-IDF向量将文本转换为特征向量，然后用分类算法训练模型。 - [^2]: TF-IDF是一种文本向量化技术，计算词频和逆文档频率。 - [^3]: TF-IDF的数学原理：词频(TF)、逆文档频率(IDF)、TF-IDF计算。 - [^4]: TF-IDF向量评估单词重要性，基于TF和IDF。 虽然这些引用是给定的，但用户的问题是关于特征选择，所以我需要基于这些信息来构建回答。 核心概念： - TF-IDF向量：将文本转换为数值向量，其中每个元素表示一个词的TF-IDF分数。 - 特征选择：在机器学习中，选择最相关的特征（在这里是词）来减少维度、提高模型性能。 - 机器学习模型输入：TF-IDF向量可以作为输入特征用于各种模型，如分类、回归等。 步骤来回答： 1. **介绍TF-IDF向量**：简要解释TF-IDF是什么，因为它与特征选择相关。 2. **特征选择方法**：讨论如何使用TF-IDF进行特征选择。常见方法包括： - 基于TF-IDF分数：选择TF-IDF分数高的词作为特征。 - 结合其他方法：如卡方检验、信息增益等，用于特征选择。 3. **集成到机器学习流程**：如何将特征选择后的TF-IDF向量输入模型。 4. **实际步骤**：提供代码示例或伪代码，展示如何实现。 5. **优点和注意事项**：讨论为什么这样做，潜在问题。 6. **生成相关问题**：在最后添加相关问题。 结构回答： - 引言：解释用户的问题。 - 主体：逐步指导。 - 代码示例：如果需要。 - 结论：总结。 - 相关问题。 由于系统要求使用中文回答，我将用中文写回答。 生成相关问题：在最后添加类似示例中的格式。 引用：在相关段落末尾添加引用标识，如[^1]。引用给定的参考，但用户的问题不是直接引用这些，所以我需要自然地融入。 例如： - 当解释TF-IDF时，引用[^2]或[^3]。 - 当讨论应用时，引用[^1]。 现在，构建回答大纲： 1. **介绍TF-IDF向量**： - 定义TF-IDF：词频(TF)和逆文档频率(IDF)的组合。 - 数学公式：使用LaTeX格式。 - 行内：$TF(t,d) = \frac{f_{t,d}}{\sum_{t' \in d} f_{t',d}}$ - 行内：$IDF(t,D) = \log \frac{|D|}{|\{d \in D : t \in d\}|}$ - 独立公式：TF-IDF分数。 - 引用[^3]。 2. **特征选择方法**： - 为什么需要特征选择：高维度问题，许多词不相关。 - 方法： - 基于TF-IDF分数：选择平均TF-IDF高的词。 - 统计方法：如卡方检验、互信息，用于选择与目标变量相关的词。 - 模型基础方法：如使用L1正则化（Lasso）来自动选择特征。 - 如何集成：在生成TF-IDF向量后，应用特征选择。 3. **机器学习模型输入**： - 将特征选择后的TF-IDF向量作为输入。 - 例子：文本分类。 - 引用[^1]。 4. **实现步骤**： - 使用Python库如scikit-learn。 - 伪代码或代码示例。 5. **注意事项**： - TF-IDF本身有特征选择效果，因为低频词IDF高。 - 可能需要进一步选择以减少噪音。 6. **相关问题**：生成3-5个相关问题。 最后，添加引用标识。</think>### 在机器学习中使用TF-IDF向量进行特征选择的方法 在机器学习任务中，TF-IDF向量是一种常用的文本表示方法，它将文本转换为数值特征向量，便于模型处理。特征选择（Feature Selection）旨在从这些向量中筛选出最相关、信息量大的特征（即词项），以减少维度、防止过拟合并提升模型性能。以下是逐步指导如何在机器学习中使用TF-IDF向量进行特征选择，并将其作为模型输入。 --- #### 1. **理解TF-IDF向量及其数学基础** TF-IDF（Term Frequency-Inverse Document Frequency）通过计算词频（TF）和逆文档频率（IDF）来评估词项的重要性。数学公式如下： - 词频（TF）：衡量词项在单个文档中的频率，计算为$TF(t,d) = \frac{f_{t,d}}{\sum_{t' \in d} f_{t',d}}$，其中$f_{t,d}$是词项$t$在文档$d$中的出现次数。 - 逆文档频率（IDF）：衡量词项在整个文档集合中的稀有度，计算为$IDF(t,D) = \log \frac{|D|}{|\{d \in D : t \in d\}|}$，其中$|D|$是文档总数，$|\{d \in D : t \in d\}|$是包含词项$t$的文档数。 - TF-IDF分数：结合两者，得到$TF\text{-}IDF(t,d,D) = TF(t,d) \times IDF(t,D)$。一个词项的TF-IDF值越高，表示它对该文档越重要[^3]。 TF-IDF向量将每个文档表示为一个向量，其中每个维度对应一个词项的TF-IDF分数。这本身就有初步特征选择效果：IDF高的词项（即稀有词）会被赋予更高权重，而高频常见词（如“的”“和”）权重较低[^4]。 --- #### 2. **特征选择方法：基于TF-IDF向量的筛选** 特征选择的目标是进一步精简TF-IDF向量，只保留对模型预测最有贡献的词项。常用方法包括： - **基于TF-IDF分数阈值法**： - 计算所有词项的平均TF-IDF分数或最大TF-IDF分数。 - 设置阈值（如保留分数高于平均值的词项），或选择Top-K个高分词项。 - 优点：简单高效，适合初筛。例如，在文本分类中，高TF-IDF词项往往代表文档主题[^1]。 - 公式：设特征选择后的向量维度为$V' \subset V$，其中$V$是原始词项集，选择条件为$\text{mean}(TF\text{-}IDF(t)) > \theta$或$\text{rank}(TF\text{-}IDF(t)) \leq K$。 - **统计检验方法**： - 使用卡方检验（Chi-Square）或互信息（Mutual Information）评估词项与目标变量（如分类标签）的相关性。 - 卡方检验计算：$$\chi^2(t, c) = \sum_{i=1}^{n} \frac{(O_i - E_i)^2}{E_i}$$其中$O_i$是观察频数，$E_i$是期望频数，$c$是类别。高分词项被保留。 - 优点：能捕捉词项与标签的统计关联，适合监督学习任务。 - 实现：在scikit-learn中，可直接用`SelectKBest`结合卡方检验。 - **模型嵌入方法**： - 训练一个简单模型（如逻辑回归或SVM），并使用L1正则化（Lasso）自动学习特征权重。权重接近零的词项被剔除。 - 优点：无需单独特征选择步骤，集成到模型训练中，适合高维数据。 - 公式：L1正则化的损失函数为$$\min_w \sum_{i=1}^{n} \text{loss}(y_i, \hat{y}_i) + \lambda \|w\|_1$$其中$w$是特征权重，$\lambda$是正则化强度。 特征选择后，TF-IDF向量的维度大幅降低（例如，从数千词项减少到数百），这能加速模型训练并提升泛化能力[^4]。 --- #### 3. **将特征选择后的TF-IDF向量作为模型输入** 在机器学习流程中，TF-IDF向量生成和特征选择通常作为预处理步骤。以下是标准步骤： 1. **数据预处理**：清洗文本（去除停用词、标点、数字），分词。 2. **生成TF-IDF向量**：使用库如scikit-learn的`TfidfVectorizer`将文本转换为TF-IDF矩阵（行：文档，列：词项）。 3. **特征选择**：应用上述方法（如基于分数或统计检验）筛选词项。 4. **模型输入**：将精简后的TF-IDF向量输入机器学习模型（如分类器或回归器）。 - 常见模型：朴素贝叶斯（Naive Bayes）、支持向量机（SVM）、逻辑回归或神经网络。这些模型能处理高维稀疏特征。 - 示例流程：在文本分类中，特征选择后的TF-IDF向量帮助模型聚焦关键词，提高准确率[^1]。 **Python实现示例（使用scikit-learn）**： 以下代码展示完整流程：从TF-IDF生成、特征选择到模型训练。 ```python from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.feature_selection import SelectKBest, chi2 from sklearn.model_selection import train_test_split from sklearn.naive_bayes import MultinomialNB from sklearn.metrics import accuracy_score # 示例数据：文档列表和标签 documents = ["机器学习模型使用TF-IDF特征", "特征选择提升模型性能", "TF-IDF向量用于文本分类"] labels = [0, 1, 0] # 0和1表示类别 # 步骤1: 生成TF-IDF向量 vectorizer = TfidfVectorizer() X_tfidf = vectorizer.fit_transform(documents) # X_tfidf是TF-IDF矩阵 # 步骤2: 特征选择（基于卡方检验，选择Top-10词项） selector = SelectKBest(chi2, k=10) X_selected = selector.fit_transform(X_tfidf, labels) # 特征选择后的矩阵 # 步骤3: 划分数据集并训练模型 X_train, X_test, y_train, y_test = train_test_split(X_selected, labels, test_size=0.2) model = MultinomialNB() model.fit(X_train, y_train) # 步骤4: 评估模型 y_pred = model.predict(X_test) print(f"模型准确率: {accuracy_score(y_test, y_pred)}") ``` - **说明**：这段代码首先用`TfidfVectorizer`生成TF-IDF向量，然后通过`SelectKBest`选择最相关的10个词项（基于卡方检验）。最后，精简后的特征输入朴素贝叶斯分类器。您可调整`k`值或替换其他特征选择方法。 --- #### 4. **注意事项** - **优点**：TF-IDF结合特征选择能有效降低维度（例如，从10,000+词项减至100-500），减少噪音，提升模型速度和准确率。在文本分类、情感分析等任务中广泛使用[^1][^4]。 - **潜在问题**： - TF-IDF本身可能忽略词序信息，需结合其他技术（如n-gram）。 - 特征选择阈值需通过交叉验证调整，避免过度剔除重要特征。 - 对于小数据集，特征选择可能导致信息损失；建议先尝试无选择基准，再比较性能。 - **最佳实践**：在特征选择前，确保TF-IDF参数（如停用词表、n-gram范围）已优化。参考[^3]，预处理（如词干提取）能进一步提升效果。 通过上述方法，您可以将TF-IDF向量高效集成到机器学习流程中，实现特征选择和模型输入的优化。如果您提供具体任务（如数据集或模型类型），我可给出更定制化建议。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值