4、自然语言处理：从文本特征提取到自动理解

自然语言处理：从文本特征提取到自动理解

1. 文本特征词提取

在分析文本时，我们常常希望找到能够表征文本的特征词。长词有时能反映文本的特定焦点，比如一些文本中的长词体现了国家层面的关注点，而另一些文本中的长词则反映出其非正式的内容。不过，那些很长的词往往是独有的（hapaxes），或许寻找频繁出现的长词更有意义，这样可以排除常见的短词（如“the”）和不常见的长词（如“antiphilosophists”）。

以下是从聊天语料中提取长度超过 7 个字符且出现次数超过 7 次的所有单词的代码：

fdist5 = FreqDist(text5)
sorted([w for w in set(text5) if len(w) > 7 and fdist5[w] > 7])

这里使用了两个条件： len(w) > 7 确保单词长度大于 7 个字母， fdist5[w] > 7 确保这些单词出现次数超过 7 次。通过这样的操作，我们成功自动识别出了文本中频繁出现的承载内容的单词。

2. 搭配与二元组

搭配是指那些异常频繁一起出现的词序列，例如“red wine” 就是一个搭配，而 “the wine” 则不是。搭配的一个特点是，它们很难被具有相似含义的词替代，比如 “maroon wine” 听起来就很奇怪。

为了处理搭配，我们首先从文本中提取词对，也就是二元组（bigrams）。可以使用 bigrams() 函数轻