Compression Represents Intelligence Linearly

828 篇文章

已下架不支持订阅

本文探讨了压缩与智能之间的联系,尤其是大型语言模型(LLM)如何通过压缩促进智能。研究发现,LLM的智能(通过平均基准分数衡量)与压缩外部文本语料库的能力呈线性相关,支持了高级压缩与高智能之间的观点。压缩效率被证明是评估LLM能力的有效无监督指标,有助于解决评估中的数据污染和过拟合问题。虽然存在一些局限性,如未考虑微调模型和长期情景,但该研究为理解LLM的智能提供了新的视角。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文是LLM系列文章,针对《Compression Represents Intelligence Linearly》的翻译。

摘要

有一种观点认为,学会压缩会产生智慧。最近,语言建模已被证明相当于压缩,这为大型语言模型(LLM)的成功提供了一个令人信服的理由:更先进的语言模型的开发本质上是在增强压缩,从而促进智能。尽管有如此吸引人的讨论,但关于压缩和智能之间的相互作用,几乎没有实证证据。在这项工作中,我们在LLM的背景下研究了它们的关系,将LLM视为数据压缩器。考虑到“智能”的抽象概念,我们采用平均下游基准分数作为替代,专门针对与知识和常识、编码和数学推理相关的智能。在12个基准中,我们的研究汇集了来自不同组织的30个公共LLM。值得注意的是,我们发现LLM的智力——由平均基准分数反映——几乎与他们压缩外部文本语料库的能力线性相关。这些结果提供了具体的证据来支持这样一种观点,即高级压缩意味着更高的智能。此外,我们的研究结果表明,压缩效率作为一种源自原始文本语料库的无监督指标,是一种可靠的评估指标,与模型能力线性相关。我们开源我们的压缩数据集以及数据收集管道,以方便未来的研究人员正确评估压缩。

1 引言

2 背景:语言建模是压缩

已下架不支持订阅

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值