NLP | 文本特征向量化方法

关注

原创最新推荐文章于 2026-08-01 16:07:19 发布 1w 阅读 AI 写同款· GEO 优化 ›

第09章文本特征向量化 本章详细介绍了特征词转文本向量的方法、词袋模型与词集模型的计算方法、词频与逆词频的计算方法等内容。由于原始数据往往并不是数值型的（如字词列表），为满足数学模型的处理要求，这样就需要将文本特征词的数据进行向量化处理，即转换为数值向量格式。假设现有如下文档需转换为数字向量形式。文档1：“我来到成都，成都春熙路很开心”文档2：“今天在宽窄巷子耍了一天”文档1：[2, 0, 0, 1, 1, 0, 1]文档2：[0, 1, 1, 0, 0, 1, 0]... 阅读详情

01 起

在之前的文章中，我们学习了一种分类方法：朴素贝叶斯，朴素贝叶斯特别适合文本分类，比如：

根据邮件内容，判断哪些是垃圾邮件
根据新闻内容，判断新闻情感是正面、负面还是中立
……

如果想要使用朴素贝叶斯模型去给文本数据分类，就必须对文本数据进行处理。

怎么处理呢？一般是这样的：

对文本分词(作为特征)，比如把这句话“我是天才”分词为“我”“是”“天才”（这里面的学问就更多了，本文不赘述）
统计各词在句子中是否出现(词集模型）
统计各词在句子中出现次数(词袋模型）
统计各词在这个文档的TFIDF值（词袋模型+IDF值）

本文主要讲解并实践三种文本特征向量化方法：

词集模型：one-hot编码向量化文本
词袋模型+IDF：TFIDF向量化文本
哈希向量化文本

在以下三种向量化方法中，待处理的文本都长这样：

02 one-hot编码向量化文本

两种方式实现，本文主要讲解自定义函数实现：

自定义函数 doc2onehot_matrix()
sklearn DictVectorizer

# 自定义方法：文本转onehot编码
"""
说明：
文档格式txt，每行表示一个训练样本(一句话，一段文字都可以)
文档如果是不分行的一段话，可以用nltk.tokenize.sent_tokenize(text)将文档分句，然后把每句话当作一个样本进行编码
"""
import numpy as np
import pandas as pd
import jieba

def doc2onthot_matrix():
    # 读取待编码的文件
    file_path=input("请输入待编码文件路径及文件名：")
    with open(file_path,encoding="utf-8") as f:
        docs=f.readlines()
    
    # 将文件每行分词，分词后的词语放入words中
    words=[]
    for i in range(len(docs)):
        docs[i]=jieba.lcut(docs[i].strip("\n"))
        words+=docs[i]
    
    # 找出分词后不重复的词语，作为词袋，是后续onehot编码的维度
    vocab=sorted(set(words),key=words.index)
    
    # 建立一个M行V列的全0矩阵，M问文档样本数，这里是行数，V为不重复词语数，即编码维度
    V=len(vocab)
    M=len(docs)
    onehot=np.zeros((M,V))
    
    for i,doc in enumerate(docs):
        for word in doc:
            if word in vocab:
                pos=vocab.index(word)
                onehot[i][pos]=1
    onehot=pd.DataFrame(onehot,columns=vocab)
    return onehot

我们将待处理文本输入到代码中，得到如下输出，可以看到，每句话都统计出各词语是否出现

03 TF-IDF文本向量化

同样的，也可以通过两种方式实现，本文主要讲解自定义函数实现：

自定义函数 doc2tfidf_matrix()
sklearn TfidfVectorizer，CountVectorizer，TfidfTransformer

import numpy as np
import pandas as pd
import math
import jieba

def doc2tfidf_matrix():
    # 读取待编码的文件
    file_path=input("请输入待编码文件路径及文件名：")
    with open(file_path,encoding="utf-8") as f:
        docs=f.readlines()
    
    # 将文件每行分词，分词后的词语放入words中
    words=[]
    for i in range(len(docs)):
        docs[i]=jieba.lcut(docs[i].strip("\n"))
        words+=docs[i]
    
    # 找出分词后不重复的词语，作为词袋
    vocab=sorted(set(words),key=words.index)
    
    # 建立一个M行V列的全0矩阵，M问文档样本数，这里是行数，V为不重复词语数，即编码维度
    V=len(vocab)
    M=len(docs)
    onehot=np.zeros((M,V)) # 二维矩阵要使用双括号
    tf=np.zeros((M,V))
    
    for i,doc in enumerate(docs):
        for word in doc:
            if word in vocab:
                pos=vocab.index(word)
                onehot[i][pos]=1
                tf[i][pos]+=1 # tf,统计某词语在一条样本中出现的次数

    row_sum=tf.sum(axis=1) # 行相加，得到每个样本出现的词语数
    # 计算TF(t,d)
    tf=tf/row_sum[:,np.newaxis] #分母表示各样本出现的词语数，tf为单词在样本中出现的次数，[:,np.newaxis]作用类似于行列转置
    # 计算DF(t,D)，IDF
    df=onehot.sum(axis=0) # 列相加，表示有多少样本包含词袋某词
    idf=list(map(lambda x:math.log10((M+1)/(x+1)),df))
    
    # 计算TFIDF
    tfidf=tf*np.array(idf)
    tfidf=pd.DataFrame(tfidf,columns=vocab)
    return tfidf