本文是LLM系列文章,针对《Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws》的翻译。
超越Chinchilla最优:语言模型尺度律中推理的解释
摘要
大型语言模型(LLM)缩放定律是一种经验公式,用于估计由于参数量和训练数据的增加而导致的模型质量的变化。然而,这些公式,包括流行的DeepMind Chinchilla比例定律,忽略了包括推理成本。我们修改Chinchilla缩放定律来计算最优LLM参数计数和预训练数据大小,以训练和部署给定质量和推理需求的模型。我们从计算预算和实际成本两个方面进行了分析,发现LLM研究人员预计会有相当大的推理需求(约1B的请求),应该训练比Chinchilla最优模型更小、更长的模型。
506



被折叠的 条评论
为什么被折叠?



