20240623日志：大模型压缩-sliceGPT

1. 剪枝方案图释

Fig. 1.1 剪枝方案

图中的阴影是表示丢弃掉这部分数据。通过引入正交矩阵$Q$使${\mathrm{Q}}^{\top }\mathrm{Q}=\mathrm{Q}{\mathrm{Q}}^{\top }=\mathrm{I}$，来大量缩减$X$的列数和$W$的行数。
由于$Q$是正交矩阵，有$\Vert \mathbf{Q}x\Vert =\sqrt{x^{\top }{\mathbf{Q}}^{\top }\mathbf{Q}x}=\sqrt{x^{\top }x}=\Vert x\Vert$，所以$Q$与$x$相乘不会影响$x$的范数。
在一般情况下，假设${\mathbf{X}}_{\ell }$是transformer中一个块的输出，在经过RMSNorm（对每一行$x\leftarrow \frac{\mathbf{X}}{||\mathbf{X}||}$处理），然后$\mathrm{RMSNorm}({\mathbf{X}}_{\ell })$作为下一块的输入。若引入矩阵$Q$，则有$\mathrm{RMSNorm}($