3、自然语言形式化：挑战与解决方案

自然语言形式化：挑战与解决方案

在自然语言处理（NLP）领域，形式化自然语言是一项至关重要却充满挑战的任务。本文将深入探讨当前自然语言处理中词性标注器（POS taggers）存在的问题，并介绍一种名为NooJ的语言形式化工具。

词性标注器的问题

1. 多词单元处理不足
   多词单元如“tout de suite”（立刻）和“carte bleue”（信用卡）按字面翻译会导致错误，例如“Je cherche ma carte bleue tout de suite”被逐字翻译成 “* I look for my blue card all of rest”。如果考虑多词单元和表达方式来评估词性标注器的精度，其精度会降至70%以下，甚至不如一个简单的访问包含所有多词单元和表达方式字典的程序。由于不处理常见的多词单元和表达方式，标注器产生的结果往往毫无用处。
2. 统计方法成本高
   通常认为语言方法实施成本高，因为需要构建字典和语法。但统计方法同样需要大量人工构建参考语料库的工作。标注语料库比构建等效字典更耗费人力，因为一个词在语料库中会多次出现，而在字典中仅出现一次。若要覆盖一种语言的标准词汇，就需要手动标注一个极大的语料库。因此，标注器所需参考语料库的构建是一项昂贵的操作。
3. 参考语料库不可靠
   有人认为手动标注参考语料库的人员资质不如构建字典和语法的人员，因此可以以较低成本雇佣。但这种态度导致大多数所谓的“参考”语料库包含大量错误。例如，宾州树库（Penn Treebank）中的一些错误标注：“Battle - te