A Systematic Study of Compression Ordering for Large Language Models

文章主要内容与创新点总结

一、主要内容

本文围绕大型语言模型(LLMs)的压缩优化展开系统性研究,聚焦知识蒸馏(KD)、结构化剪枝(P)和低比特量化(Q)三种主流压缩技术,以Qwen2.5-3B模型为实验对象,探究单技术应用效果及多技术组合的最优顺序。

  1. 核心问题:现有研究多单独分析各压缩技术,但实际部署需组合技术以实现高压缩比与性能平衡,而技术组合顺序对最终效果的影响尚不明确,且量化等技术存在不可逆信息损失等特性,进一步增加了顺序选择的复杂性。
  2. 实验设计:
    • 基线实验:评估三种技术单独应用的压缩比、困惑度、G-Eval得分等指标。
    • 组合实验:设计6种三技术组合序列(含直接序列如KD-P-Q、P-KD-Q和需反量化的序列如Q-P-KD、Q-KD-P等),以压缩比、指令遵循能力、语言理解能力为核心评估维度。
  3. 关键发现:
    • 单技术中,量化的压缩效果最优(3.00×压缩比),剪枝会导致中度性能下降,知识蒸馏无压缩效果但能提升指令对齐能力。
    • 组合序列中,P-KD-Q(剪枝→知识蒸馏→量化)效果最佳,实现3.68×压缩比,同时保留较强的性能;而早期应用量化的序列(如Q-P-KD、Q-KD-P)因不可逆信息损失,导致性能严重退化。

二、创新点

  1. 系统
上一篇: Efficient Robot Design with Multi-Objective Black-Box Optimization and Large Language Models
下一篇: Towards Robust and Fair Next Visit Diagnosis Prediction under Noisy Clinical Notes with Large Lan...
UnknownBody
博客等级 码龄16年 5601粉丝 4752原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值