python 词汇表_使用Counter构建词汇表

这里只记录两种情况：

1

数据集是一段连续的文本，所有词汇放在一个list中(一维的)

text:

此时Counter(text),text可以是一个list，统计该list中所有元素出现的次数并返回一个dict

结合most_common()方法，就可构建词汇表：print(Counter(text).most_common(5))

(5)表示选取频率最高的5个元素，返回由(key,value)元组组成的list

再由二元组列表组成dict：print(dict(Counter(text).most_common(5)))

2

当所有的词汇不是放在一个一维的list中，而是一个二维list：

我们可以通过二层循环访问到其中的每一个元素，然后要把这些元素的值累计计数

先通过Counter()构建一个空字典(Couner对象)：

sentences = [['BOS', '任', '何', '人', '都', '可', '以', '做', '到', '。', 'EOS'], ['BOS',