2、自然语言处理中认知合理性与语言建模基础

自然语言处理中认知合理性与语言建模基础

在自然语言处理领域，理解模型的认知合理性以及掌握语言建模的基础方法至关重要。下面将详细介绍认知合理性的维度以及语言建模的相关知识。

认知合理性的维度

在认知科学中，模型分析常依据Marr提出的三个层次进行，分别是计算层、算法层和实现层。计算层关注模型的输入 - 输出模式和操作约束；算法层分析模型的表示和程序；实现层聚焦于模型的硬件，即物理实现。尽管多年来关于这些层次的名称、边界和相互作用存在诸多争议，但它们仍被用于描述深度神经网络模型。

为便于解释语言模型优缺点的认知主张，我们从三个维度构建了认知合理性的讨论框架，这三个维度与Marr的层次有松散联系，但粒度不同。
1. 行为模式 ：模型的行为模式由其输入 - 输出对来表征。在自然语言处理中，人类标注被视为黄金标准，一个好的模型目标是对给定输入产生与人类相似的输出。传统上，通过模型在给定测试集上的平均性能来评估这一质量，但我们认为这过于简化，应进行实例级评估。为分析模型行为的认知合理性，需识别更普遍的行为模式，例如检查子群体和设计诊断测试。我们提议将实例难度的概念融入评估，并将其与模型不确定性的度量相联系。我们假设，在困难实例上预测失败的模型比在简单实例上失败的模型更具认知合理性。实例级分析、课程学习和多语言视角有助于构建更具认知合理性的模型。
2. 表征结构 ：神经语言模型以高维向量的形式维护语言输入的内部表征。人类语言处理能力的特点在于能够对未见过的组合进行泛化。通过检查模型表征结构中编码的知识类型，可以分析神经模型的泛化能力，并识别是否过度依赖记忆。从认知角度看，语言刺激的向量表征难以解释，