AI scaling myths

本文是LLM相关的博客文章，原文出自https://www.aisnakeoil.com/p/ai-scaling-myths。

人工智能规模神话

到目前为止，越来越大的语言模型已经被证明越来越有能力。但是，过去能预测未来吗？

一种流行的观点是，我们应该预计到目前为止的趋势将持续更多数量级，这可能会让我们进入通用人工智能（AGI）。

这种观点建立在一系列神话和误解之上。缩放的可预测性似乎是对研究结果的误解。此外，有迹象表明，LLM开发人员已经达到了高质量训练数据的极限。该行业的模型大小面临着巨大的下行压力。虽然我们无法准确预测人工智能通过扩展会发展到什么程度，但我们认为，仅凭扩展几乎不可能导致AGI。

缩放“定律”经常被误解

对缩放定律的研究表明，随着模型大小、训练计算和数据集大小的增加，语言模型会变得“更好”。这种改进在其可预测性方面确实引人注目，并在许多数量级上都存在。这就是为什么许多人认为在可预见的未来，随着领先的人工智能公司定期发布更大、更强大的模型，规模将继续扩大的主要原因。

但这完全是对比例定律的曲解。什么是“更好”的模型？比例定律只量化了困惑度的减少，也就是说ÿ