python实战（十二）——如何进行新词发现？

一、概念

        新词发现是NLP的一个重要任务，旨在从大量的文本数据中自动识别和提取出未在词典中出现的新词或短语，这对于信息检索、文本挖掘、机器翻译等应用具有重要意义，因为新词往往包含了最新的知识和信息。

        随着互联网的不断发展，每一年都有着大量的新兴网络热词。如果在NLP建模过程中这些热词恰好在模型词典中，那么就能较好地保留语义信息，否则这部分信息就会丢失。即便是大模型，在不了解新词的前提下也无法得到一个令人满意的响应。新词发现技术一定程度上为缓解out of vocabulary的问题提供了可行方式。

二、原理及实现

 

        这里，我们参考广为人知的《互联网时代的社会语言学：基于SNS的文本数据挖掘》中的策略来进行新词发现的讲解。

1、原理

        新词发现的原理主要基于以下几个方面：

（1）词频统计

        新词通常在文本中出现的频率较高，因此可以通过统计词频来初步筛选出可能的新词。

（2）凝固度（Cohesion）

        凝固度用于衡量一个词组内部的紧密程度，常见的方法是计算词组的互信息（Mutual Information, MI）或点互信息（Pointwise Mutual Information, PMI）。高凝固度表示词组内部的词之间关系紧密，也就表明词组内部中的字词常常共同出现，则该词组更有可能是一个新词。

        假设现在我们有一个词组，其中表示词组中的第 i 个字或者词，那么我们可以使用如下公式计算凝固度（示例之一，也可以使用其他常见公式）：