1、自然语言处理中的认知合理性探索

自然语言处理中的认知合理性探索

语言是人类交流的强大工具，它为表达高度复杂的现象提供了精妙的机制。我们每天在生活的方方面面都使用语言。然而，语言的多功能性和多变性使其成为计算建模的难题，与更具系统性的传感器信号不同，语言遵循着潜在规则，但又在各个语言层面充满了例外和歧义，理解其微妙之处所需的特定文化知识甚至比解读图像还多。

1. 自然语言处理现状与挑战

世界上存在着超过 7000 种有符号和有声的语言，涵盖了广泛的类型学配置。我们无法得出语言的准确静态描述，因为它会随着时间和领域动态演变。尽管存在这些复杂性，人类通常能够轻松地处理语言，能够根据目标受众灵活调整语言使用，并动态整合情境线索以进行无歧义交流。

自然语言处理（NLP）研究已经花费了数十年时间来理解如何对语言进行计算建模，但复杂的推理任务和创造性构造仍然会导致模型明显失败。不过，该领域的成功是不可否认的，它吸引了越来越多的研究人员，语言处理模型也已成为我们日常生活中的关键技术。这些发展与大量训练数据的增加和更高效的计算资源密切相关，神经网络语言模型（LMs）在数 TB 的数据上进行训练，并优化数百万个参数以从文本中提取模式。

2. 认知合理性的多面性

认知合理性是一个多维度的概念，在不同学科中差异很大：
- 计算机科学家 ：关注模型的定量性能，希望模型在静态基准数据集上的表现与人类无异。
- 神经科学家 ：侧重于模型的生物合理性，致力于开发突触可塑性模型，这些模型在远小于自然语言处理常见评估数据集的玩具数据集上进行评估。
- 心理学家