靓仔沾点健忘症，写给时间下游的自己

大型语言模型（llm）在语言理解和生成方面表现出了显著的能力。然而，这种令人印象深刻的能力通常伴随着相当大的模型大小，这在部署、推理和训练阶段都提出了重大的挑战。由于LLM是一个通用任务求解器，我们以任务不可知的方式探索其压缩，旨在保留原始LLM的多任务求解和语言生成能力。实现这一目标的一个挑战是LLM的训练语料库的巨大规模，这使得数据传输和模型后训练都过于繁重。任务无关性和对原始训练数据集的依赖最小化。我们的方法被命名为LLM- pruner，采用基于梯度信息选择性去除非关键耦合结构的结构性剪枝。

AutoAWQ源码解析