PocketLLM: Ultimate Compression of Large Language Models via Meta Networks

一、文章主要内容总结

本文针对大型语言模型（LLMs）在边缘设备部署时面临的存储、传输难题，提出了一种名为PocketLLM的极端压缩方法。该方法摒弃了传统量化、剪枝直接操作权重矩阵的思路，通过元网络在 latent 空间对模型权重进行压缩，核心流程包括：

1. 将LLM的权重矩阵拆分为多个子向量，通过元编码器（meta-encoder）将其投影到 latent 空间，生成 latent 向量；
2. 构建紧凑码本（codebook），通过聚类将 latent 向量离散化为码本中的代表性向量，并用索引记录对应关系；
3. 利用轻量级元解码器（meta-decoder）将码本向量映射回原始权重空间，实现权重重建；
4. 压缩后仅需存储元解码器、码本和索引，大幅降低存储开销。

实验结果表明，PocketLLM在极端压缩比下仍能保持优异性能：对Llama 2-7B模型压缩10倍时精度损失可忽略，压缩16倍时经微调性能仍可接受，20倍压缩后通过微调仍能大幅恢复精度；在Qwen 3-14B等模型上也验证了其普适性，且在零样本任务准确率、困惑度等指标上优于现有SOTA方法。

二、文章创新点

1. latent空间压缩范式：首次提出在 latent 空间而非原始权重空间进行LLM压缩，通过编码器引入非线性因素，更高效地学习权重向量的隐藏特征和冗余关系，避免传统方法在高压缩比下的信息丢失。
2. 重塑层归一化（RLN）：设计了适配权重子向量的RLN模块