LEMS：逐层误差建模如何实现大语言模型的高效低秩压缩

• 论文题目： Advancing SVD-based LLM Compression via Layer-Wise Error Model Search

• 中文译名： 通过逐层误差模型搜索改进基于 SVD 的大语言模型压缩

• 作者： Moritz Thoma、Maximilian Groezinger、Maximilian Forstenhäusler、Emad Aghajanzadeh、Manoj Rohit Vemparala、Christos Anagnostopoulos、Pierpaolo Mori、Nael Fasfous、Alexander Frickenstein、Daniel Mueller-Gritschneder、Ulf Schlichtmann

• 会议： ICML 2026，PMLR，306：120620–120653

• 论文全文： arXiv:2610.32878 · PDF

• 开源代码： lems-svd/lems

大模型压缩，为什么不能每层都“一刀切”？——LEMS 与 KFAC-SVD

低秩近似的想法很直观：用两个较小的矩阵替代一个大矩阵，减少模型需要存储和计算的参数。但当这个办法用到大语言模型上，问题就不只是“保留多少个奇异值”。同样减少一部分参数，有的层几乎不影响输出，有的层却会让模型明显退化；即使每一层单独压缩时误差都不大，把它们同时替换后，整网表现也可能超出预期地变差。

我们先把问题拆成三步：SVD 为什么能压缩权重，各层的压缩预算应该怎样分配，以及在固定秩下怎样保留更重要的信息。最后结合实验，判断 LEMS 与 KFAC-SVD 分别解决了什么，又有哪些结论不能直接推广到实际部署。

1. 引言：从“减少参数”到“分配损失”

大语言模型中的注意力投影和前馈网络包含大量线性变换。对于一个输入向量，线性层通过权重矩阵把它映射到新的特征空间。如果矩阵中存在可以近似舍弃的方向，就有机会先把输入映射到较低维度，再映射到输出空间，以较少的参数完成近似计算。

这条路线的吸引力在于，压缩后的运算仍然是稠密矩阵乘法。相比需要特定稀疏模式才能高效执行的方案，低秩分解更容易接入常见计算库。不过，“仍然使用稠密计算”只说明实现路径比较直接，实际速度仍取决于矩阵形状、设备和推理阶段，不能只根据参数减少比例推算吞吐量。

真正困难的是模型精度。Transformer 中的各个矩阵承担不同职责，输入分布、误差敏感性和所在深度都不同。如果统一要求每一层保留相同的参数比例，就相当于默认所有层都具有相近的冗余程度。这个假设很方便，却未必符合模型的真实结构。

可以用一个简化例子理解预算分配：假设两层各有一百份参数预算，目标是合计保留一百四十份。平均分配会让两层各保留七十份；如果第一层对压缩敏感，而第二层相对宽容，保留九十份和五十份可能更合适。这只是说明问题的例子，不是论文实验。关键是：总参数量相同，并不意味着模型损失相同。

ICML 2026 论文《Advancing SVD-based LLM Compression via Layer-Wise Error Model Search》把改进分成两个部分。LEMS 负责全局秩分配，回答“预算给谁”；KFAC-SVD 负责改善局部分解，回答“给定预算以后，哪些方向更值得保留”。两者可以组合，也可以分开研究。

Figure 1 展示了三个关键操作：左侧把统计粒度从序列改为 token；中间校准不同层的谱误差尺度；右侧修正误差沿深度传播带来的偏差。后面会分别解释这些操作为什么必要。本文方法、表格和原图统一依据 arXiv v1，避免将不同修订版本的结果混用。

2. 相关工作与问题定义

2.1 SVD 如何把一个矩阵变成两个小矩阵

设线性层的权重为 $W\in {\mathbb{R}}^{m\times n}$。奇异值分解将其写成 $W=U\Sigma V^{\top }$，其中奇异值按从大到小排列。截断 SVD 保留前 $r$ 个方向，得到：

$$W\approx W_r=U_r{\Sigma }_r{V}_r^{\top }=CB,C\in {\mathbb{R}}^{m\times r},B\in {\mathbb{R}}^{r\times n}.\text{\hspace{1em}(1)}$$

原来的前向计算 $y=Wx$ 变为 $y=C(Bx)$。忽略偏置，参数量从 $mn$ 变为 $r(m+n)$，因而参数保留比例为：

$$c=\frac{r(m+n)}{mn},r<\frac{mn}{m+n}\text{时才真正减少参数。}\text{\hspace{1em}(2)}$$

这里有一个容易忽略的细节：秩下降不必然意味着参数量下降。对于方阵，若 $r$ 仍大于矩阵维度的一半，两个因子合起来甚至可能比原矩阵更大。以 $4096\times 4096$ 的矩阵为例，取 $r=1024$ 时，参数量由 16,777,216 降为 8,388,608，正好保留一半。这个数值例子只用于解释式（2）。

普通截断 SVD 在指定秩下最小化权重的 Frobenius 重建误差。然而，权重误差最小，并不保证语言模型的预测变化最小。一个数值很小的权重方向，可能恰好影响重要输出；一个较大的偏差，也可能发生在输入很少激活的方向上。

2.2 从权重重建到模型行为

如果把输入激活记为 $X$，相比只最小化 $\Vert W-\hat{W}{\Vert }_F^2$，激活感知的方法会考虑 $\Vert WX-\hat{W}X{\Vert }_F^2$。这相当于把“矩阵像不像”推进到“这一层的输出像不像”。SVD-LLM 等方法通过输入统计量进行白化，使分解更贴近层输出的重建目标。

但层输出发生同样大小的变化，最终任务损失也可能不同。因此，另一类方法引入 Fisher 信息近似，用损失对参数扰动的敏感性来衡量哪些方向应优先保留。它比单纯比较权重或激活更接近任务目标，也更加依赖统计估计质量。

可以把这三种目标看作逐步增加上下文：权重重建只看矩阵本身；激活重建加入模型实际接收到的输入；Fisher 加权再加入损失对输出变化的敏感程度。目标更贴近任务并不自动保证结果更好，如果统计量严重失真，复杂的度量反而可能不如简单方法稳定。

2.3 分解质量与秩分配是两个问题

给定某一层的秩，怎样得到更好的近似矩阵，是局部分解问题。在总参数预算一定时，各层分别选多大的秩，则是全局分配问题。把两者混在一起比较，容易把搜索策略的收益误认为分解算法的收益，或者反过来。

现有分配策略包括统一比例、逐步调整的贪心搜索、尽量均衡各层误差，以及通过可训练掩码学习秩。它们各有成本与限制。只看奇异值尾部能量虽然便宜，但不同层的能量损失未必具有相同意义；逐个候选秩运行完整模型可以得到更直接的评估，却会带来大量前向计算。

LEMS 采用的思路是，把便宜的谱信息和少量实际输出测量结合，构造可以用于全局搜索的误差代理。这里的“代理”很重要：它是对真实退化的近似描述，后续优化能够解决的是这个代理目标，而不是直接求出语言模型真实损失的全局最优解。

3. LEMS：让有限参数留在更需要的层

3.1 谱尾能量描述曲线形状

如果对每个矩阵的每个候选秩都测量整网表现，搜索成本会迅速增加。LEMS 首先利用已经计算出的奇异值谱，估计降低秩时误差增长的大致趋势。

设 ${\tilde{W}}_i$ 是第 $i$ 个矩阵经过相应白化后的权重，奇异值为 ${\sigma }_{i,k}$。保留秩 $r_i$ 后，归一化尾部能量为：

$$S_i(c)=\frac{{\sum }_{k>r_i}{\sigma }_{i,k}^2}{{\sum }_k{\sigma }_{i,k}^2},c=\frac{r_i(m_i+n_i)}{m_i{n}_i}.\text{\hspace{1em}(3)}$$

它描述被舍弃方向占据的能量比例。谱衰减很快的矩阵，在较低秩下可能已经保留了大部分能量；谱较平缓的矩阵，则可能需要更高的秩。一次分解就能生成许多候选点，因此这种曲线适合支撑细粒度搜索。

不过，式（3）主要回答同一矩阵内不同秩之间的相对差异。注意力投影损失 10% 的谱能量，与前馈网络损失 10% 的谱能量，未必导致同样的模型退化。直接把它们放在一起比较，相当于默认两条曲线使用同一种“损失单位”。

3.2 用实际输出变化校准尺度

为修正跨层比较的问题，LEMS 在每层选一个参考保留比例 $c_{\mathrm{ref}}$。每次只压缩这一层，其他层维持原状，测量原模型与压缩模型最终输出分布的 KL 散度。这样得到的信号已经包含该层扰动对整网输出的影响。

然后，用这个参考点给整条谱曲线缩放：

$${\alpha }_i=\frac{{\mathcal{L}}_{\mathrm{KL},i}(c_{\mathrm{ref}})}{S_i(c_{\mathrm{ref}})+\epsilon },l_i(c)={\alpha }_i{S}_i(c).\text{\hspace{1em}(4)}$$

$\epsilon$ 用来避免分母过小。可以把 $S_i$ 理解为曲线的形状，把 ${\alpha }_i$ 理解为这条曲线在整网输出上的实际量级。对于造成更明显输出偏移的层，同样的谱尾能量会获得更高代价。

论文默认用 $c_{\mathrm{ref}}=0.1$ 测量敏感性，这个参考点表示临时只保留该层约 10% 的参数。它不是最终给所有层设定的保留比例，也不意味着实际搜索允许每层都压到 10%。主实验的最终候选范围为 $c_i\in [0.3,1.0]$，二者承担不同职责。

单点校准是一种成本与精度的取舍。它避免逐一测量所有候选秩，但也意味着不同压缩程度下的真实退化曲线，仍主要依赖谱形状来近似。一次校准能修正尺度，不能保证整条曲线在任意输入分布上都准确。

3.3 用深度偏置补偿误差传播

即使每层单独压缩时的影响已经测过，把各层误差相加仍可能低估整网退化。原因是前面层的输出会成为后面层的输入。当多个层同时压缩，后面的层接收到的已经不是单层校准时的输入，误差之间会产生耦合。

LEMS 用随深度变化的偏置来修正这一现象：

$$L_i(c)=S_i(c){\alpha }_i(1+\beta (d_i)),\beta (d_i)=\kappa \frac{{\sum }_{k=d_i}^D{k}^{-\gamma }}{{\sum }_{k=1}^D{k}^{-\gamma }}.\text{\hspace{1em}(5)}$$

这里 $D$ 是 Transformer block 总数，$d_i$ 是该矩阵所在的 block 深度。为了避免与前文低秩因子 $B$ 混淆，本文将原论文中的 block 数量记号改为 $D$。$\kappa$ 控制修正幅度，$\gamma$ 控制沿深度变化的形状。

在论文采用的非负修正设置下，较早 block 的代价会受到更大的上调，因为其误差有更长的后续传播路径。但这是一种软偏置，不强制最终秩随着深度单调变化。一个靠后的敏感矩阵，仍可能因为较大的 ${\alpha }_i$ 或较平缓的谱而得到更多预算。

还要注意，论文虽然使用 Bias 这个名称，式（5）实际是在原有代价上乘以 $1+\beta$，并非给每层加上一个与候选秩无关的常数。假如给某一层所有候选项都加同一个常数，在每层必须选一个候选项的约束下，那个常数不会改变最优选择。

3.4 用整数规划选择每层的秩

有了每个候选项的估计代价，分配问题就可以写成离散优化。设 $x_{ij}$ 表示是否为第 $i$ 层选择第 $j$ 个候选配置，$p_{ij}$ 是该配置保留的参数量：

min ⁡ x i j ∑ i ∑ j ∈ J i L i ( c i j ) x i j s.t. ∑ j ∈ J i x i j = 1 , ∀ i , ∑ i ∑ j ∈ J i p i j x i j ≤ P t a r g e t , x i j ∈ { 0 , 1 } . (6) \begin{aligned} \min_{x_{ij}}\quad &\sum_i\sum_{j\in\mathcal J_i}L_i(c_{ij})x_{ij}\\ \text{s.t.}\quad &\sum_{j\in\mathcal J_i}x_{ij}=1,\quad\forall i,\\ &\sum_i\sum_{j\in\mathcal J_i}p_{ij}x_{ij}\le P_{\mathrm{target}},\\ &x_{ij}\in\{0,1\}. \end{aligned} \tag{6} xij​min​s.t.​i∑​j∈Ji​∑​Li​(cij​)xij​j∈Ji​∑​xij​=1,∀i,i∑​j∈Ji​∑​pij​xij​≤Ptarget​,xij​∈{0,1}.​(6)

第一条约束要求每层选一个配置，第二条约束保证总参数量不超预算。整数线性规划求解器可以在给定代价和候选集合下统筹各层选择，不必只依据某一次局部调整的收益做决定。

完整 LEMS 还包含一个外层校准循环：TPE 提出 $\kappa$、$\gamma$，内层求解式（6），再临时应用得到的秩配置，测量整网输出变化，把结果反馈给外层搜索。论文附录将这部分限制为 10 次试验。因此，它既利用全局离散优化，也依赖实际模型评估来选择传播修正参数。

这里应把“全局最优”限定在固定代理代价和离散候选空间内。求解器不会消除误差模型的偏差，外层有限次数搜索也不能保证找到真实损失下的最佳配置。LEMS 的价值，是让计算成本可控的代理更贴近实际退化，再有效利用这个代理分配资源。

4. KFAC-SVD：让低秩近似保留更重要的方向

4.1 为什么需要两侧加权

LEMS 决定每层保留多少容量；KFAC-SVD 关注给定秩下的近似质量。其出发点是：如果两个参数扰动的大小相同，但一个更容易改变任务损失，就不应在分解时把它们视为同样的误差。

令 $\Delta \theta =\mathrm{vec}(W-\hat{W})$。通过局部二阶近似，并用 Fisher 矩阵近似曲率，可以用 $\Delta {\theta }^{\top }F\Delta \theta$ 度量压缩扰动的代价。完整 $F$ 的维度与参数量的平方相关，对大模型线性层来说难以直接存储，因此需要结构化近似。

KFAC 使用两个较小矩阵的 Kronecker 积，写作 $F\approx A\otimes G$。其中 $A$ 对应输入激活的二阶矩，$G$ 对应输出梯度的二阶矩。相应目标变为：

$$\underset{\mathrm{rank}(\hat{W})\le r}{\min }{\Vert G^{1/2}(W-\hat{W})A^{1/2}\Vert }_F^2.\text{\hspace{1em}(7)}$$

右侧的 $A$ 描述输入方向如何被使用，左侧的 $G$ 描述输出变化与损失的关系。设 $G=I$ 时，目标退回只使用输入统计量的形式，也就能看出它与激活感知分解之间的联系。

这里依然存在近似：曲率来自局部建模，Kronecker 分解又进一步简化了相关结构。更复杂的度量是否有用，取决于它在有限校准数据下是否估计得足够可靠。

4.2 序列级统计为什么可能出现秩瓶颈

论文分析的 GFWSVD 路线，先利用少量序列的完整权重梯度估计经验 Fisher。假设有 $k$ 个梯度向量 $g_s$，则：

$$\hat{F}=\frac{1}{k}\sum _{s=1}^k{g}_s{g}_s^{\top },\mathrm{rank}(\hat{F})\le k.\text{\hspace{1em}(8)}$$

这条秩上界很直接：每个外积最多提供一个方向，$k$ 个外积之和的秩最多为 $k$。当参数空间有数百万维，而可用序列只有几百条时，这个估计只能观察到很有限的子空间。

需要区分严格结论与实验观察。式（8）严格约束的是经验 Fisher 本身；后续通过重排和拟合得到的 Kronecker 因子，其有效秩和数值条件还受到拟合过程影响。论文通过谱衰减实验观察到相关估计出现明显退化，不能简单把式（8）的上界原样套到每一个因子上。

这也解释了一个表面矛盾：低秩模型压缩希望权重表示更紧凑，但用于判断重要性的统计量如果过早坍缩，就可能丢失区分方向的能力。用于压缩的低秩结构，与估计不足导致的低秩，并不是同一回事。

4.3 把统计粒度改为 token

对于线性层的一个 token，设输入为 $x_t$，损失对层输出的梯度为 ${\delta }_t$，局部权重梯度具有 ${\delta }_t{x}_t^{\top }$ 的形式。KFAC-SVD 直接积累 token 级二阶矩：

$$\hat{A}=\frac{1}{N}\sum _{t=1}^N{x}_t{x}_t^{\top },\hat{G}=\frac{1}{N}\sum _{t=1}^N{\delta }_t{\delta }_t^{\top }.\text{\hspace{1em}(9)}$$

如果校准集有 256 条、每条长度为 2048 的序列，计数上可以获得约 52 万个 token 位置，而不是只有 256 个序列级梯度。两个因子的秩上界分别取决于输入或输出维度与 token 数量的较小者，不再受同样的序列数上界限制。

但 token 更多不意味着这些观测相互独立，也不意味着因子必然满秩。相邻 token 相关，激活也可能存在强冗余。论文采用的 token 级近似还省略了跨 token 的部分二阶关系。它做的是用更丰富、可积累的局部统计缓解原有瓶颈，而不是精确恢复完整 Fisher。

实现上还要处理 padding、矩阵对称性和数值稳定性。论文附录按有效 token 计数进行归一化，并通过对称化与动态对角修正保证后续分解可执行。这些操作说明方法不是简单地把序列“切碎后多算几次”，统计口径和矩阵条件同样重要。

4.4 白化、截断，再映射回来

得到稳定的因子后，先构造 $\tilde{W}=G^{1/2}W{A}^{1/2}$，在这个加权空间里做截断 SVD，然后映射回原空间：

$$\hat{W}=G^{-1/2}{U}_r{\Sigma }_r{V}_r^{\top }{A}^{-1/2}.\text{\hspace{1em}(10)}$$

这个式子可以重新拆成两个低秩因子，部署时仍然执行两个连续线性变换。逆平方根的写法建立在经过稳定化、可逆的因子上；论文实现使用 Cholesky 因子，以更适合数值计算的方式完成等价的加权目标。

KFAC-SVD 的主要改进在因子的统计估计，而不是重新发明截断 SVD。它仍需要校准阶段的前向和反向传播来收集激活与梯度，所以不能把它写成“完全无需梯度”的方法。收集梯度也不等同于对模型进行长期微调，两种计算目的应当分开。

Figure 2 左侧比较统计近似的谱衰减，右侧比较不同截断秩下对未见梯度的 Fisher 误差。KFAC 曲线在这里表现出更缓的谱衰减和更低的误差，为统计估计改善提供了直接证据；最终是否保住模型能力，还要继续看完整任务评测。

5. 实验：预算分配和分解质量分别带来了什么

5.1 先统一比例、数据与指标的口径

主实验覆盖 Mistral-7B、Llama 3-8B 和 Qwen3-8B。困惑度在 WikiText2、C4、PTB 上评估，数值越低越好；零样本准确率取 PIQA、OpenBookQA、HellaSwag、ARC-Easy、ARC-Challenge 和 Winogrande 六项任务的平均，越高越好。

论文用 WikiText2 的 256 条长度为 2048 的随机序列校准分解；涉及数据的搜索通常使用 32 个样本，ARS 的实际数据开销另有说明。主实验运行在单张 NVIDIA H200 上，LEMS 使用 Gurobi 求解。所有结果均是论文报告值，本文没有重新运行模型实验。

文中的比例 $c$ 表示被压缩线性层的参数保留比例，排除输出 head。$c=0.8$ 表示这些线性层保留约 80% 的参数，而不是删除 80%，也不是整个模型的显存一定减少 20%。未压缩组件、激活和 KV cache 等仍然占用资源。

5.2 固定分解流程，单独比较秩搜索

论文 Table 1 尽量固定分解流程、校准条件和候选配置，比较不同搜索策略。下面摘录 Llama 3-8B 的结果，准确率单位为百分数：

参数保留比例	搜索方法	WikiText2 PPL ↓	C4 PPL ↓	PTB PPL ↓	平均准确率 ↑
未压缩	原模型	6.14	9.47	9.90	63.34
0.8	Uniform	11.44	52.00	80.06	47.69
0.8	SVD-LLMv2 搜索	11.40	52.00	80.38	47.70
0.8	ARS	11.81	20.44	28.83	54.31
0.8	LEMS	8.16	17.52	22.80	55.99
0.6	Uniform	48.56	475.36	1312.50	34.39
0.6	ARS	28.77	56.55	112.03	40.57
0.6	LEMS	17.86	81.01	201.28	43.09

这组数值说明，预算分配本身足以带来明显差异。在 $c=0.8$ 时，LEMS 的平均准确率比 Uniform 高 8.30 个百分点，比 ARS 高 1.68 个百分点。这个收益来自同一比较设置下搜索策略的变化，不能直接全部归功于 KFAC-SVD。

同时，表格也给出了重要边界。在 $c=0.6$ 时，LEMS 的平均准确率和 WikiText2 困惑度优于 ARS，但 C4、PTB 困惑度反而更高。不同指标的排序没有完全一致，因此“所有任务、所有数据集都最好”并不是这张表支持的结论。

未压缩基线同样不能省略。LEMS 在 $c=0.8$ 时的平均准确率为 55.99，仍低于原模型的 63.34。优于其他压缩策略，说明它更有效地控制了退化，不代表压缩已经无损。以上摘录及差值依据

5.3 固定保留比例，比较分解方法

Table 2 比较不同 SVD 方法，并额外列出 KFAC-SVD 与 LEMS 组合后的表现。下图保留原表，便于同时观察三个模型家族。

以 Llama 3-8B、$c=0.7$ 为例，SVD-LLM 的 WikiText2 困惑度为 34.64，DOBI-SVD 为 31.54，KFAC-SVD 为 19.43。仅比较分解方法，KFAC-SVD 相对这里最好的基线 DOBI-SVD，困惑度约下降 38.4%。再加入 LEMS 后降为 11.07，说明分解与分配仍有互补空间。

同一设置下，KFAC-SVD 的平均准确率为 40.73，结合 LEMS 后为 49.39。这里不能把两者差值解释成“增加 token 级统计的收益”，因为 token 级统计已经包含在 KFAC-SVD 中，新增的是预算搜索。

较温和的 $c=0.9$ 设置下，Llama 3-8B 原模型平均准确率为 63.33，KFAC-SVD 与 LEMS 组合达到 61.99，差距缩小到 1.34 个百分点。但在 Mistral 上，部分基线的平均准确率高于单独使用 KFAC-SVD 的结果，尽管其困惑度更差。困惑度和有限任务集的平均准确率反映不同侧面，不能互相替代。

5.4 消融实验：哪些组件有效，代价有多大

论文 Table 3 逐步加入搜索、KL 校准和传播修正。以下摘录 Llama 3-8B 在 $c=0.8$ 时的 WikiText2 结果：

逐步加入的组件	WikiText2 PPL ↓	该步新增时间
Uniform 分配	11.44	起点
谱能量与 ILP 搜索	9.36	约 1 分钟
再加入 KL 尺度校准	8.69	约 17 分钟
再加入跨层传播偏置	8.16	约 2 分钟

在这一设置下，单纯用谱能量做全局优化已经有效，校准和传播修正进一步降低困惑度。Qwen3-8B 的对应结果则从 12.52 降到 11.16、10.40、10.34，最后一步的收益较小。这说明偏置的效果具有模型依赖性，不能把某个模型上的改善幅度直接套到另一个模型上。

时间也需要按阶段理解。这里统计的是搜索相关步骤相对起点增加的时间，不是下载权重、统计 Fisher、做全部矩阵分解和最终评测的端到端总耗时。尺度校准结果可以缓存复用，因此论文报告相关 8B 设置首次搜索约需 20—25 分钟，复用缓存后约需 3 分钟。仅仅说“几秒钟完成压缩”会混淆 ILP 求解时间与完整工作流成本。

Figure 3 比较不同参考比例下的 KL 与 MSE 校准。两类指标在困惑度和准确率上的排序有所不同，参考点也会影响结果。它提醒我们，校准指标实际上参与定义“应该优先保留什么能力”，并非可以完全忽略的实现参数。

5.5 更大模型上的趋势与部署边界

Figure 2 将 Qwen3 的 4B—32B 模型放在不同保留比例下比较，同时分别使用 KFAC-SVD 与 SVD-LLM。两种分解都能从 LEMS 中受益，支持“秩分配是可独立改进的一环”这一判断，而不是只有某个特定分解方法才能使用它。

这些曲线比单个最优点更有解释力：随着保留比例降低，统一分配与搜索分配的差距会变化，某些模型在统一分配下出现明显退化。LEMS 的作用，是在同一预算下重新安排容量，使部分退化得到缓解；它并没有消除高压缩带来的信息损失。

从实验走到部署，还应区分三个层次。参数量减少描述权重表示；显存峰值还包括激活、缓存和临时张量；推理延迟则受到批大小、上下文长度、矩阵形状以及计算库的共同影响。将一次大矩阵乘法改成两次小矩阵乘法，理论运算量减少了，但是否更快仍应在目标环境中实测。

此外，本文展示的主实验主要使用 WikiText2 校准。更换为代码、中文长文本或其他目标领域时，激活分布与敏感方向可能变化，需要检查校准数据是否具有代表性。六项零样本任务也不足以覆盖长上下文、复杂推理和所有语言能力，平均分接近原模型不等于各类能力都得到同样保留。

这项研究更稳妥的结论是：在论文给定的模型、校准数据和评测设置下，更可靠的统计估计与更合理的跨层预算分配，能够显著改善低秩压缩的精度表现。实际压缩方案是否值得采用，还要把离线处理成本、存储、显存、延迟和目标任务质量放在一起衡量。

6. 总结

LEMS 与 KFAC-SVD 把低秩压缩中的两个决定分开处理：先判断有限参数应该分给哪些矩阵，再判断每个矩阵里应该保留哪些方向。LEMS 结合谱曲线、输出分布校准和深度修正，让局部误差更适合跨层比较；KFAC-SVD 则用 token 级二阶统计缓解 Fisher 估计的秩瓶颈，提高给定秩下的近似质量。

这篇论文值得借鉴的不只是一个搜索算法，而是它对比较口径的拆分。判断分解是否更好，应尽量固定秩分配；判断分配是否更好，应尽量固定分解流程；判断能否部署，则还需要目标设备上的实际测量。把这三件事分开，才能知道收益究竟来自哪里。

对于低秩模型压缩，保留最大的奇异值只是起点。更关键的是理解哪些扰动影响模型行为、这些影响如何跨层传播，以及有限预算怎样换来尽可能小的能力损失。LEMS 和 KFAC-SVD 为这些问题提供了可实现的近似方案，也留下了清晰的验证边界：误差模型需要校准，能力保持需要评测，实际加速需要测量。