11、语言模型表征结构与认知合理性探索

语言模型表征结构与认知合理性探索

1. 表征结构分析

在表征分析中，大多数方法严重依赖几何距离度量，常用余弦相似度。不过，在上下文表征中使用余弦相似度需要谨慎。有研究发现，余弦相似度对虚假维度过于敏感，且相似度度量主导的维度与对模型行为重要的维度之间存在明显不匹配，高频词受此影响尤为显著。

表征结构的质量通常通过微调模型在特定任务上的表现来评估。但由于测试模型的实验参数众多（如训练数据的大小和质量、模型架构、训练参数等），很难单独量化表征结构对性能差异的影响。新颖的可解释性技术能为底层表征的作用提供补充见解。

2. 测试表征特征

2.1 探测语言知识

语言探测基于这样的直觉：如果分类器能从模型的表征中准确预测出某个语言属性，那么该神经模型就编码了这个属性。探测分类器已被用于研究语言模型是否编码了形态知识（如人称和数的特征）、句法知识（如词类、回指消解、增量句法状态）以及关于词义的语义知识等。

• 任务特定知识

  • 一些研究从更应用的角度探测特定任务的知识，如命名实体识别、语义角色标注、关系检测和共指消解等。结果表明，上下文模型在编码句法任务所需知识方面比非上下文基线更成功，而在语义任务上的差异较小，这说明上下文有助于编码结构知识而非更深层次的语义组合性。
  • 应用下游任务需要复杂的线索组合，因此有人提倡使用一维探测任务来分离属性并更好地控制偏差。例如，通过从包含某个单词的句子表征中解码该单词，发现保留对词汇成分访问的句子表征在大多数下游任务上表现更好。
  • 许多自然语言处理