文章核心总结与创新点
一、主要内容
该研究针对大型语言模型(LLMs)因规模庞大导致的部署难题,聚焦无结构化剪枝技术的核心痛点,提出了名为AutoPrune的自剪枝方法。文章首先指出现有剪枝方法(如SparseGPT、Wanda)依赖人工设计和专家知识,且存在高剪枝率下因异常值问题导致性能骤降的缺陷;进而通过偏度分析揭示异常值问题的根源是均匀稀疏分配;最终设计了Graph-driven Chain-of-Thought(GCoT)推理框架和Skew-aware Dynamic Sparsity Allocation(SDSA)稀疏分配策略,实现LLM自主设计剪枝算法,在不依赖专家知识的前提下,有效缓解高剪枝率下的性能损失。
研究通过在LLaMA-1/2、OPT-13B、Pythia-12B等主流模型上的实验验证,在WikiText语言建模任务和7个零样本任务(如BoolQ、RTE)中,AutoPrune在不同剪枝率(50%/60%)和剪枝模式(非结构化、2:4/4:8结构化)下均优于现有SOTA方法,且在MMLU推理基准和主动推理任务中展现出良好的泛化能力。
二、核心创新点
- 全新剪枝范式:首次提出LLM自主设计剪枝算法的范式,突破专家知识限制,无需人工干预即可生成最优剪枝策略,大幅降低人力成本。
- 发现异常值问题:首次识别LLM剪枝中的异常值问题——权重分布偏度较高的层对剪枝高度敏感,均匀稀疏分配会导致此类层性能骤降,并揭示其根源为均匀稀疏策略。
- GCoT
订阅专栏 解锁全文
469



被折叠的 条评论
为什么被折叠?



