使用Counter构建词汇表

这里只记录两种情况：

1

数据集是一段连续的文本，所有词汇放在一个list中（一维的）
text:

此时Counter（text）,text可以是一个list，统计该list中所有元素出现的次数并返回一个dict

结合most_common()方法，就可构建词汇表：print(Counter(text).most_common(5))

（5）表示选取频率最高的5个元素，返回由（key,value）元组组成的list
再由二元组列表组成dict：print(dict(Counter(text).most_common(5)))

2

当所有的词汇不是放在一个一维的list中，而是一个二维list：

我们可以通过二层循环访问到其中的每一个元素，然后要把这些元素的值累计计数
先通过Counter()构建一个空字典（Couner对象）：

sentences = [['BOS', '任', '何', '人', '都', '可', '以', '做', '到', '。', 'EOS'],