大模型的结构化裁剪 、非结构化裁剪

1. 核心定义

• 结构化裁剪： 以**规则的结构单元（如整层、通道、滤波器）**为剪枝对象，直接移除整个模块。例如，删除某层中50%的滤波器。 特点：保持模型结构规则性，剪枝后模型仍为稠密矩阵，可直接部署于通用硬件（如GPU）。 典型应用：移除Transformer中的注意力头、MLP层或整个模块（如LLM-Pruner）。

• 非结构化裁剪： 以单个权重或神经元为剪枝对象，通过阈值移除冗余参数（如将绝对值小的权重置零）。 特点：生成稀疏矩阵，参数分布不规则，需专用库（如CuSPARSE）或硬件加速。 典型应用：SparseGPT对LLM权重进行一次性稀疏化（OPT-175B稀疏度60%）。

---

2. 核心差异

维度	结构化裁剪	非结构化裁