Can Large Language Models Learn Independent Causal Mechanisms?

本文是LLM系列文章，针对《Can Large Language Models Learn Independent Causal Mechanisms?》的翻译。

摘要

尽管在语言建模和复杂推理任务上表现出色，但大型语言模型（LLM）在不常见的环境或分布变化中无法完成相同的任务，表现出一定的泛化能力不足。通常通过向LLM提供更多的训练数据来缓解这个问题。然而，这种方法是脆弱的，因为任务的范围可能不容易预测或可能会演变，并且用新数据更新模型通常需要大量的额外训练。相比之下，学习抽象变量和因果关系的系统，如因果模型，可以表现出对分布变化的更强鲁棒性。这一成功的一个原因是独立因果机制（ICM）的存在和使用，它代表了只很少相互作用的高层次概念。在这项工作中，我们应用因果关系中的两个概念来学习LLM中的ICM。我们开发了一种新的LLM架构，该架构由多个稀疏交互的语言建模模块组成。我们引入了一种路由方案，将网络专业化为特定领域的模块。我们还提出了一个相互信息最小化目标，该目标训练一个单独的模块来学习抽象和领域不变机制。我们证明了这种因果约束可以提高抽象和因果推理任务的分布外性能。

1 引言

2 相关工作

3 LLM的因果信息路由

4 理论视角

5 实验

6 讨论与局限性

7 结论

执行强大的分布外推理是一项具有挑战性的任务，尽管大型语言模型在各种问题上都有令人印象深刻的表现，但它们还没有表现出这种能力。将这种流行的模型与因果模型相结合可以帮助弥合这一差距。这项工作提出了