13、自然语言处理中的程序策略解析

自然语言处理中的程序策略解析

1. 语言的组合性与歧义问题

人类语言的表达能力受组合性基本原则的影响，我们能将基本单元组合成更大的块来衍生新表达。不过，从部分推导整体含义并非易事，比如名词复合词就存在歧义，像“olive oil”是用橄榄制成的油，而“baby oil”并非由婴儿制成，而是供婴儿使用。

当超越简单短语时，歧义会增加，例如语义范围不明确。在“every baby oil contains an essential ingredient”这句话中，不清楚是否所有油都含有相同的关键成分。另一个常见的程序歧义例子是句法附着，在“apply the oil on the shelf”中，我们需要结合情境上下文来理解是使用架子上的油，还是将油涂抹在架子上。

人类通常能通过结合情境上下文排除不太可能的选项，直接解决潜在歧义。但为情境上下文消歧实施计算策略仍是构建更具认知合理性模型的一大挑战。

人类的程序策略以基于选择性注意的经济方法为特征。阅读时，功能词常被跳过，而实词会被更长时间注视。标记和短语的相对重要性会根据理解目标进行加权，不同的阅读目的（如一般理解、信息浏览、语法和风格检查、事实核查）对应的阅读过程也不同。

计算模型的程序策略很大程度上由其架构组件决定。各种连接机制（如池化操作、绑定参数、残差连接或注意力头）会影响信息流，影响知识如何在各层中传播和重组。如果架构固定，输入数据及其表示方式会限制模型的学习内容，目标目标则决定信息的加权方式。

近期对语言模型的分析表明，它们在记忆方面有出色策略，但在将知识推广到未见信息时存在困难。人类会同时利用记忆和泛化能力，因此理解将记忆知识与一般能力相结合的程序策略，对于预测