机器学习入门-文本数据-构造Ngram词袋模型 1.CountVectorizer(ngram_range) 构建Ngram词袋模型...

最新推荐文章于 2025-10-16 11:43:22 发布

转载

最新推荐文章于 2025-10-16 11:43:22 发布 · 2.7k 阅读

22 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/my-love-is-python/p/10324709.html

文章标签：

#人工智能 #python

本文介绍了如何使用CountVectorizer(ngram_range=(2, 2))构造Ngram词袋模型，通过组合词语形成新的词向量。讲解了ngram_range参数的意义，并以'I like you'为例展示了不同ngram_range值下的词向量组合方式。文章包括四个步骤：数据格式化、分词去停用词、函数向量化和应用CountVectorizer构建词袋模型。" 131318244,18870241,Python使用shutil模块拷贝文件到文件夹教程,"['Python编程', '文件操作', '数据处理', '自动化工具', 'shutil模块']

函数说明：

1 CountVectorizer(ngram_range=(2, 2)) 进行字符串的前后组合，构造出新的词袋标签

参数说明：ngram_range=(2, 2) 表示选用2个词进行前后的组合，构成新的标签值

Ngram模型表示的是，对于词频而言，只考虑一个词，这里我们在CountVectorizer统计词频时，传入ngram_range=(2, 2)来构造新的词向量的组合

好比一句话'I like you'

如果ngram_range = (2, 2)表示只选取前后的两个词构造词组合 :词向量组合为：’I like‘ 和 ’like you‘

如果ngram_range = (1, 3) 表示选取1到3个词做为组合方式: 词向量组合为: 'I', 'like', 'you', 'I like', 'like you', 'I like you' 构成词频标签

代码：

第一步：构造Dataframe格式，并数组化数据

第二步：构造函数进行分词和去除停用词，并使用空格进行串接，为了分词做准备

第三步：np.vectorize 向量化函数，并调用函数进行分词和去除停用词

第四步：使用CountVectorizer(ngram_range(2, 2)) 进行文本的词向量拼接

import pandas as pd
import numpy as np
import re
import nltk #pip install nltk


corpus = ['The sky is blue and beautiful.',
          'Love this blue and beautiful sky!