《用Python进行自然语言处理》笔记2

最新推荐文章于 2021-01-30 17:14:30 发布

原创

最新推荐文章于 2021-01-30 17:14:30 发布 · 413 阅读

2 ·

CC 4.0 BY-SA版权

这篇博客主要介绍了Python进行自然语言处理中的计算语言统计，包括频率分布、细粒度选择词、词语搭配（bigrams）、计数以及相关的决策与控制。通过FreqDist计算词频，hapaxes统计唯一词，plot展示趋势，关注长词以获取更多特征，使用bigrams和collocation_list找出双连词，以及利用条件过滤进行文本分析。

计算语言：简单的统计

一、频率分布

⑴ FreqDist(test)

将文本名称作为参数，形成字典，得到每个标识符的频率分布


>>> fd1=FreqDist(text1)
>>> fd1
FreqDist({
   
   ',': 18713, 'the': 13721, '.': 6862, 'of': 6536, 'and': 6024, 'a': 4569, 'to': 4542, ';': 4072, 'in': 3916, 'that': 2982, ...})
>>> fd1['is']   //查找'is'出现的次数
1695

⑵ hapaxes()

对只出现一次词的统计

 fd1.hapaxes()
['Herman', 'Melville', ']', 'ETYMOLOGY', 'Late', 'Consumptive', 'School', 'threadbare', 'lexicons', 'mockingly', 'flags', 'mortality', 'signification', '...]