20240610日志:LLM Compression: SVD-LLM

Location:Beijing

1. 数学基础：SVD分解与Cholesky分解

1.1 SVD分解

正奇异值分解¹，设$A=A_{m\times n}$，其中$r=rank(A)>0$，正奇值为$\sqrt{{\lambda }_1},\sqrt{{\lambda }_2},\cdots ,\sqrt{{\lambda }_r}$，则有分解
$$A=P\left(\begin{array}{ccc}\sqrt{{\lambda }_1}& \cdots & 0\\ ⋮& \ddots & ⋮\\ 0& \cdots & \sqrt{{\lambda }_r}\end{array}\right)Q^H\text{\hspace{1em}(1)}$$
式中，$P=P_{m,r}$， $Q=Q_{n,r}$ 为半优阵:$P^{H}P=I_r=Q^{H}Q$（U阵指的是列向量相互正交，且每个列向量长度为1，U阵为方阵，半U阵列满秩）
依次把 P,Q 扩大为 U 阵:$W=P=(P,P2)$;$V=Q=(Q,Q2)$
可得：
$$A_{m\times n}=W_{m\times m}\mathrm{D}{V}_{n\times n}^H$$