NLP之词袋模型一

声明：参考A Gentle Introduction to the Bag-of-Words Model

词袋模型

目的：将不定长的文本型数据转化为定长的数值型数据，以便用作机器学习模型的输入。
用处：常用于文本建模和分类。
优点：简单，易实现。
缺点：不能考虑文本的结构和顺序。

基本流程

1. 获取全部文本

以《双城记》中的一段话为例：

It was the best of times,
it was the worst of times,
it was the age of wisdom,
it was the age of foolishness,

2. 提取所有单词，生成词袋

3. 词向量表达

词袋中的单词与词向量中的值一一有序对应。

• 若单词在当前文本中出现了0词，则词向量中的值为0
• 若单词在当前文本中出现了1次，则词向量中的值为1
• 若单词在当前文本中出现了2词，则词向量中的值为2
• …
• 若单词在当前文本中出现了n词，则词向量中的值为n