Scaling Laws for Task-Stratified Knowledge in Post-Training Quantized Large Language Models

文章总结与翻译

一、文章主要内容

该研究聚焦大语言模型（LLMs）的训练后量化（PTQ）技术，旨在解决现有量化模型缩放定律存在的不足，通过大量实证分析建立任务分层的缩放定律，深入探究PTQ对LLMs不同知识能力的影响。

1. 研究背景：LLMs因规模庞大面临部署挑战，PTQ作为高效压缩方案被广泛应用（2022年以来近70%量化相关研究聚焦LLMs的PTQ），但目前对PTQ如何精确影响LLMs各类知识能力的理解不足，现有量化模型缩放定律常忽略PTQ特定参数（如校准集大小、组大小）和任务敏感性。
2. 核心分析维度：将LLMs知识能力拆解为知识记忆（KM）（准确回忆预训练阶段学到的事实信息、关联知识等，通过LAMA、TruthfulQA等任务评估）和知识运用（KU）（利用知识进行推理、解决问题等复杂认知操作，通过Hellaswag、ARC等任务评估），并纳入模型大小（N）、有效位宽（BeffB_{eff}