本文是LLM系列文章,针对《Compression Represents Intelligence Linearly》的翻译。
压缩线性表示智能
摘要
有一种观点认为,学会压缩会产生智慧。最近,语言建模已被证明相当于压缩,这为大型语言模型(LLM)的成功提供了一个令人信服的理由:更先进的语言模型的开发本质上是在增强压缩,从而促进智能。尽管有如此吸引人的讨论,但关于压缩和智能之间的相互作用,几乎没有实证证据。在这项工作中,我们在LLM的背景下研究了它们的关系,将LLM视为数据压缩器。考虑到“智能”的抽象概念,我们采用平均下游基准分数作为替代,专门针对与知识和常识、编码和数学推理相关的智能。在12个基准中,我们的研究汇集了来自不同组织的30个公共LLM。值得注意的是,我们发现LLM的智力——由平均基准分数反映——几乎与他们压缩外部文本语料库的能力线性相关。这些结果提供了具体的证据来支持这样一种观点,即高级压缩意味着更高的智能。此外,我们的研究结果表明,压缩效率作为一种源自原始文本语料库的无监督指标,是一种可靠的评估指标,与模型能力线性相关。我们开源我们的压缩数据集以及数据收集管道,以方便未来的研究人员正确评估压缩。