Compression Represents Intelligence Linearly

最新推荐文章于 2025-11-25 00:15:54 发布

UnknownBody

最新推荐文章于 2025-11-25 00:15:54 发布

阅读量363

点赞数 9

CC 4.0 BY-SA版权

文章标签：语言模型自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/138146959

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

本文探讨了压缩与智能之间的联系，尤其是大型语言模型（LLM）如何通过压缩促进智能。研究发现，LLM的智能（通过平均基准分数衡量）与压缩外部文本语料库的能力呈线性相关，支持了高级压缩与高智能之间的观点。压缩效率被证明是评估LLM能力的有效无监督指标，有助于解决评估中的数据污染和过拟合问题。虽然存在一些局限性，如未考虑微调模型和长期情景，但该研究为理解LLM的智能提供了新的视角。

本文是LLM系列文章，针对《Compression Represents Intelligence Linearly》的翻译。

摘要

有一种观点认为，学会压缩会产生智慧。最近，语言建模已被证明相当于压缩，这为大型语言模型（LLM）的成功提供了一个令人信服的理由：更先进的语言模型的开发本质上是在增强压缩，从而促进智能。尽管有如此吸引人的讨论，但关于压缩和智能之间的相互作用，几乎没有实证证据。在这项工作中，我们在LLM的背景下研究了它们的关系，将LLM视为数据压缩器。考虑到“智能”的抽象概念，我们采用平均下游基准分数作为替代，专门针对与知识和常识、编码和数学推理相关的智能。在12个基准中，我们的研究汇集了来自不同组织的30个公共LLM。值得注意的是，我们发现LLM的智力——由平均基准分数反映——几乎与他们压缩外部文本语料库的能力线性相关。这些结果提供了具体的证据来支持这样一种观点，即高级压缩意味着更高的智能。此外，我们的研究结果表明，压缩效率作为一种源自原始文本语料库的无监督指标，是一种可靠的评估指标，与模型能力线性相关。我们开源我们的压缩数据集以及数据收集管道，以方便未来的研究人员正确评估压缩。