30、多词表达式的计算处理

多词表达式的计算处理

在自然语言处理（NLP）中，多词表达式（MWE）的处理是一个重要且具有挑战性的领域。MWE 是由多个词组成的词汇项，它们在语言中普遍存在，但由于其非组合性和不规则性，给 NLP 应用带来了诸多困难。本文将深入探讨 MWE 的相关概念、特性以及计算处理方法。

1. 多词表达式概述

MWE 涵盖了多种语言现象，常见的类型包括：
- 名词性复合词 ：如“whitespace”（空白）和“machine translation”（机器翻译）。
- 名词性习语 ：像“piece of cake”（小菜一碟）和“pain in the neck”（令人头疼的事）。
- 动词性习语 ：例如“to do the trick”（起作用）、“to make sense”（有意义）等。
- 轻动词结构 ：如“to make a decision”（做决定）。
- 动词 - 小品词结构 ：“to break up”（分手）、“to figure out”（弄清楚），以及相应的名词化形式“slip - up”（失误）。
- 多词副词 ：“more often than not”（通常）、“in turn”（相应地）等。
- 多词介词和连词 ：“in order to”（为了）、“as well as”（也）等。
- 多词术语