2、自然语言形式化：挑战与解决方案

自然语言形式化：挑战与解决方案

1. 多词单元翻译问题

在自然语言处理中，多词单元的处理是一个关键问题。例如，“tout de suite”（立刻）和“carte bleue”（信用卡）这类多词单元，如果逐词翻译，就会出现错误。像“Je cherche ma carte bleue tout de suite”，逐词翻译会得到 “* I look for my blue card all of rest”，这显然是错误的。实际上，如果考虑多词单元和表达来评估词性标注器的精度，其精度会低于 70%，甚至不如一个简单的程序，该程序只需访问包含语言中所有多词单元和表达的词典。词性标注器若不处理这些常见的多词单元和表达，即便它们在词汇中占比不可忽视，也会产生无用的结果。

2. 统计方法的局限性

2.1 成本高昂

通常认为，语言方法实施成本高，因为需要构建词典和语法。但统计方法同样需要大量人力来手动构建参考语料库。给语料库打标签比构建同等的词典更耗费人力，因为一个词在语料库中多次出现，而在词典中仅出现一次。若要覆盖一种语言的标准词汇，就需要手动标注一个极其庞大的语料库。

2.2 参考语料库不可靠

有人认为手动标注参考语料库的人员资质不如构建词典和语法的人员，因此可以低成本雇佣。但这种态度导致大多数所谓的“参考”语料库存在大量错误。例如，宾州树库（Penn Treebank）中的一些错误标注：“Battle - tested”和“Japanese”应标注为形容词而非专有名词；“up”是小品词而非介词；“Mitsui”是专有名词而非复数普通名词；“Engineering”是普通名词；“Inc.”是形容词。参考语料库存在错误