AIGCer的博客

现有的向量量化（VQ）方法在可扩展性方面存在困难，主要由于训练过程中仅部分更新的码本的不稳定性。随着利用率的降低，码本容易崩溃，因为未激活代码与视觉特征之间的分布差距逐渐扩大。

解决的问题当前文本生成图像（T2I）模型，如 DALLE 3、Stable Diffusion 3 等，参数量巨大，推理时内存需求高，难以在资源有限的设备（如移动设备）上部署。本文重点研究极低比特量化（1.58-bit）在 T2I 模型中的可行性，以减少存储和内存需求，同时提升推理效率。**提出的方案 **选用 FLUX.1-dev 模型作为量化目标，通过后训练量化方法将其权重压缩为 1.58-bit（值限制为 {-1, 0, +1}），无需访问图像数据。