Large Language Model Compression via the Nested Activation-Aware Decomposition

文章总结

主要内容

本文提出了一种名为**嵌套激活感知分解(NSVD)**的新型后训练压缩框架,旨在解决大型语言模型(LLM)在低秩分解中面临的两个关键挑战:

  1. 激活分布的变异性:不同数据集和模型的激活分布差异导致传统SVD方法性能下降。
  2. 未见激活的适应性:现有方法在处理新数据集或任务时容易出现"过拟合"。

NSVD通过以下创新设计提升压缩精度:

  • 截断感知数据白化:通过调整权重矩阵与激活分布的关系,确保奇异值截断时的最小损失。
  • 双向分解结构:在保持原始权重矩阵信息的同时,吸收激活异常值。

实验结果表明,NSVD在8个数据集和6个模型(涵盖LLaMA、OPT、Mistral三大家族)上均优于现有SVD方法(如ASVD、SVD-LLM),尤其在30%-50%压缩率或多语言/多任务场景下优势显著。

创新点
  1. 嵌套分解框架:通过两步分解(激活感知分解+原始矩阵分解)平衡不同数
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值