17、多词表达式提取算法优化与停用词识别方法

多词表达式提取算法优化与停用词识别方法

1. 多词表达式（MWE）概述

多词表达式（MWEs）是文本语料库中连续的词序列，也就是 n - 元组，具有或多或少的语义强度。例如，2 - 元组“金融危机”、3 - 元组“世界人口增长”、5 - 元组“国际计算机科学会议”。MWEs 在多个方面具有重要作用：
- 用于文档的无监督聚类和分类。
- 作为文档关键词。
- 用于索引。
- 在统计机器翻译中应用。

提取 MWEs 可以通过符号（形态句法或语义）或统计方法来识别语料库中语义相关的 n - 元组，其中统计方法具有语言独立性的优势。评估 MWE 相关性是主观的，通常参考特定上下文，可能包括特定主题领域的术语，如“全球变暖”，或跨多个领域的通用语言表达式。

2. LocalMaxs 算法改进

2.1 MWE 统计提取背景

自动术语提取的基础已经发展了几十年。自然语言文本中的统计规律被识别出来，产生了多种统计关联/凝聚性度量，如 MI、χ²、Dice、SCP、Loglike、c - 值等，并应用于文本处理任务。语言相关的语言学或结合语言学 - 统计的方法可能会取得更好的结果，一些方法还使用机器学习方法。例如，C4.5 算法用于对候选词进行分类，但它强烈依赖于高质量的训练数据。

在统计方法中，Xtract 使用 MI 度量识别搭配，精度约为 80%；使用 t - 分数提取词汇搭配，精度约为 60%。mwetoolkit 为 MWE 提取提供了与网络搜索引擎和机器学习工具的集成，使用 t - 分数、MI、Dice 和 Log - likelihood 度量，报告的最高 F1 值为 30.