机器学习入门-文本数据-构造Ngram词袋模型 1.CountVectorizer(ngram_range) 构建Ngram词袋模型...

本文介绍了如何使用CountVectorizer(ngram_range=(2, 2))构造Ngram词袋模型,通过组合词语形成新的词向量。讲解了ngram_range参数的意义,并以'I like you'为例展示了不同ngram_range值下的词向量组合方式。文章包括四个步骤:数据格式化、分词去停用词、函数向量化和应用CountVectorizer构建词袋模型。" 131318244,18870241,Python使用shutil模块拷贝文件到文件夹教程,"['Python编程', '文件操作', '数据处理', '自动化工具', 'shutil模块']

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

函数说明:

  1 CountVectorizer(ngram_range=(2, 2)) 进行字符串的前后组合,构造出新的词袋标签

  参数说明:ngram_range=(2, 2) 表示选用2个词进行前后的组合,构成新的标签值

Ngram模型表示的是,对于词频而言,只考虑一个词,这里我们在CountVectorizer统计词频时,传入ngram_range=(2, 2)来构造新的词向量的组合

好比一句话'I like you'

如果ngram_range = (2, 2)表示只选取前后的两个词构造词组合 :词向量组合为:’I like‘ 和 ’like you‘ 

如果ngram_range = (1, 3) 表示选取1到3个词做为组合方式: 词向量组合为: 'I', 'like', 'you', 'I like', 'like you', 'I like you' 构成词频标签

代码:

  第一步:构造Dataframe格式,并数组化数据

  第二步:构造函数进行分词和去除停用词,并使用空格进行串接,为了分词做准备

  第三步:np.vectorize 向量化函数,并调用函数进行分词和去除停用词

  第四步:使用CountVectorizer(ngram_range(2, 2)) 进行文本的词向量拼接

import pandas as pd
import numpy as np
import re
import nltk #pip install nltk


corpus = ['The sky is blue and beautiful.',
          'Love this blue and beautiful sky!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值