本文探讨大型语言模型（LLM）如何学习独立因果机制（ICM），以提高其在分布变化时的泛化能力。研究提出了一种新的LLM架构，包含多个稀疏交互的建模模块，并通过路由方案使网络专业化。利用相互信息最小化目标，训练模块学习抽象和领域不变机制。实验证明，因果约束能提升LLM在分布外任务的性能，尤其是在抽象和因果推理方面。
本文是LLM系列文章，针对《Can Large Language Models Learn Independent Causal Mechanisms?》的翻译。
摘要
尽管在语言建模和复杂推理任务上表现出色，但大型语言模型（LLM）在不常见的环境或分布变化中无法完成相同的任务，表现出一定的泛化能力不足。通常通过向LLM提供更多的训练数据来缓解这个问题。然而，这种方法是脆弱的，因为任务的范围可能不容易预测或可能会演变，并且用新数据更新模型通常需要大量的额外训练。相比之下，学习抽象变量和因果关系的系统，如因果模型，可以表现出对分布变化的更强鲁棒性。这一成功的一个原因是独立因果机制（ICM）的存在和使用，它代表了只很少相互作用的高层次概念。在这项工作中，我们应用因果关系中的两个概念来学习LLM中的ICM。我们开发了一种新的LLM架构，该架构由多个稀疏交互的语言建模模块组成。我们引入了一种路由方案，将网络专业化为特定领域的模块。我们还提出了一个相互信息最小化目标，该目标训练一个单独的模块来学习抽象和领域不变机制。我们证明了这种因果约束可以提高抽象和因果推理任务的分布外性能。
已下架不支持订阅
扫一扫
84
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
