Python文本处理（1）——文本表示之词袋模型（BOW）（1）

极简理论：

词袋（Bag-of-words）模型

词袋（Bag-of-words）是描述文档中单词出现的文本的一种表示形式。它涉及两件方面：

1.已知词汇的词汇表

（构建词汇表的）模型及改进方法：
1.词袋模型（bag-of-words model）
2. n-gram model (n 代表组在一起单词的数量)
比如有，2-gram(bigram) model、3-gram (trigram) model ，1-gram model 其实就相当于 bag-of-words 模型。

2.已知单词存在的一种度量

为已知单词进行评分的方法：
1.存在与否：用二进制来表示单词的存在或不存在。
2.计数：统计每个单词在词汇表中出现的次数
3.词频：计算每个单词在文档中出现的频率

词袋模型处理流程：

1. 分词
2. 构建词汇表
3. 编码

极简实践

相关代码流程：

（使用的scikit-learn）

• bag of words + 计数

1. 创建 CountVectorizer 类实例
2. 调用 fit() 函数：训练数据分词 + 词表的构建
3. 调用 transform() 函数 ：创建数据的词袋表示

notebook代码

import numpy as np
import pandas as pd 

nrows=100
usecols=[0, 6