15、语言模型的认知合理性处理与伦理考量

语言模型的认知合理性处理与伦理考量

1. 认知合理性处理的背景与需求

在语言模型的发展中，若能更好地理解人类如何为新信息分配相对重要性，将有助于为序列学习找到更优的权重调整机制。采用经济处理方法时，需要采取一些捷径来构建更强大的表示，同时又不丢失核心信息。

2. 整合语言信息

2.1 预训练语言模型的局限性

预训练语言模型在没有明确语言监督的情况下，能学习到大量的语言知识，尤其是句法知识。然而，它们需要大量数据才能推广到复杂的语言现象。增加训练数据并非在所有句法泛化情况下都有效，而且大量训练数据可能会强化不良的记忆现象。

2.2 混合模型的探索

为了实现更高效的数据利用模型，将语言约束整合到训练过程是一个有前景的方向。例如，一些研究将语言模型与解析器结合，明确建模单词和短语之间的嵌套、层次关系；还有研究通过句法依赖关系和最小递归语义的注释，丰富了BERT中的掩码语言建模目标。这些研究表明，语言信息能提高将刺激句子表示映射到大脑记录的线性解码器的性能，但在词级和句子级结果之间存在差异。

2.3 统一信息密度（UID）假说

UID假说是一种流行的心理语言学理论，用于解释经验观察到的句法、形态和韵律选择。它认为说话者倾向于在语言信号中均匀分布信息。例如，很多人会更喜欢 “My boss confirmed that we are crazy” 而不是 “My boss confirmed we are crazy”，因为缺少 “that” 时，“we” 的信息密度过高。通过正则化器强制实施UID假说，可以提高基于Transformer的语言模型在数据有限时的困惑度，并生成