Z-Pruner: Post-Training Pruning of Large Language Models for Efficiency without Retraining

Z-Pruner相关总结与翻译

一、文章主要内容总结

本文聚焦大型语言模型（LLMs）部署中面临的模型规模大、计算资源消耗高、推理延迟长等问题，提出一种名为Z-Pruner的新型训练后剪枝方法，旨在无需重新训练的情况下实现模型稀疏化，提升效率。

1. 研究背景与现有方法局限

• LLMs现状：大型语言模型在自然语言处理任务中表现卓越，但数十亿参数的规模导致其对计算资源要求极高，难以在资源受限设备上部署。
• 现有压缩方法不足：
  • 量化：通过降低权重和激活值精度减少资源消耗，但易引入舍入误差，影响模型精度，且无法完全消除权重冗余。
  • 传统剪枝：多通过移除绝对值最小的权重实现，但未考虑权重对模型性能的集体贡献，易导致精度大幅下降；且多数传统剪枝算法需重新训练、从随机初始化训练或进行昂贵的迭代回滚与微调，资源消耗大，不适用于十亿级参数的LLMs。
  • 现有训练后剪枝（PTP）：如SparseGPT虽无需重新训练，但涉及昂贵的权重更新步骤，随模型规模扩大效率急剧下降。

2. Z-Pruner方法细节

• 核心原理：结合权重更新幅度与激活模式识别冗余参数，通过权重归一