Can Large Language Models Learn Independent Causal Mechanisms?

828 篇文章

已下架不支持订阅

本文探讨大型语言模型(LLM)如何学习独立因果机制(ICM),以提高其在分布变化时的泛化能力。研究提出了一种新的LLM架构,包含多个稀疏交互的建模模块,并通过路由方案使网络专业化。利用相互信息最小化目标,训练模块学习抽象和领域不变机制。实验证明,因果约束能提升LLM在分布外任务的性能,尤其是在抽象和因果推理方面。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文是LLM系列文章,针对《Can Large Language Models Learn Independent Causal Mechanisms?》的翻译。

摘要

尽管在语言建模和复杂推理任务上表现出色,但大型语言模型(LLM)在不常见的环境或分布变化中无法完成相同的任务,表现出一定的泛化能力不足。通常通过向LLM提供更多的训练数据来缓解这个问题。然而,这种方法是脆弱的,因为任务的范围可能不容易预测或可能会演变,并且用新数据更新模型通常需要大量的额外训练。相比之下,学习抽象变量和因果关系的系统,如因果模型,可以表现出对分布变化的更强鲁棒性。这一成功的一个原因是独立因果机制(ICM)的存在和使用,它代表了只很少相互作用的高层次概念。在这项工作中,我们应用因果关系中的两个概念来学习LLM中的ICM。我们开发了一种新的LLM架构,该架构由多个稀疏交互的语言建模模块组成。我们引入了一种路由方案,将网络专业化为特定领域的模块。我们还提出了一个相互信息最小化目标,该目标训练一个单独的模块来学习抽象和领域不变机制。我们证明了这种因果约束可以提高抽象和因果推理任务的分布外性能。

1 引言

2 相关工作

3 LLM的因果信息路由

已下架不支持订阅

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值