机器学习基础（二）——词集模型（SOW）和词袋模型（BOW）

分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.youkuaiyun.com/jiangjunshow

也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！

                       

• （1）词集模型：Set Of Words，单词构成的集合，集合自然每个元素都只有一个，也即词集中的每个单词都只有一个
• （2）词袋模型：Bag Of Words，如果一个单词在文档中出现不止一次，并统计其出现的次数（频数）

为文档生成对应的词集模型和词袋模型

考虑如下的文档：

dataset = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],         ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],         ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],         ['stop', 'posting', 'stupid', 'worthless', 'garbage'],         ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],         ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
  
1
2
3
4
5
6

list of lists 的每一行表示一个文档；

第一步：生成词汇表

vocabSet = set()for doc in dataset:    vocabSet |= set(doc)vocabList = list(vocabSet)
  
1
2
3
4

为每一个文档创建词集向量/词袋向量

# 词集模型SOW = []for doc in dataset:    vec = [0]*len(vocabList)    for i, word in enumerate(vocabList):        if word in doc:            vec[i] = 1    SOW.append(doc) # 词袋模型BOW = []for doc in dataset:    vec = [0]*len(vocabList)    for word in doc:        vec[vocabList.index[word]] += 1    BOW.append(vec)
  
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

           

给我老师的人工智能教程打call！http://blog.youkuaiyun.com/jiangjunshow