（表征学习论文阅读）FINITE SCALAR QUANTIZATION: VQ-VAE MADE SIMPLE

1. 前言

向量量化（Vector Quantization）或称为矢量量化最早在1984年由Gray提出，主要应用于数据压缩、检索领域，具体的阐述可以参考我写的另一篇关于VQ算法的文章。随着基于神经网络的离散表征学习模型的兴起，VQ技术也开始重新被重视。它在图像、音频等表征学习中体现出了优秀的性能，并且有希望成为多模态大语言模型的重要组件。

在AI领域，最为知名应该是VQ-VAE（Vector Quantized-Variational Autoencoder）了，它的思想是将图像$x$映射为表征$z^{k\times d}$，其中$z^{k\times d}$由一组维度为$d$的特征向量构成，VQ-VAE引入了一个codebook记为$C^{n\times d}$。$z^{k\times d}$会和$C^{n\times d}$中的向量进行距离计算，可以是欧式距离也可以是余弦相似度，用$C^{n\times d}$中距离最近或者最相似的向量来表示$z^{k\times d}$中的向量。这种量化操作往往不可微，因此VQ-VAE使用了一个非常简单的技巧straight through estimator (STE)来解决，具体的实现可以看代码。

VQ-VAE的损失函数主要由三个部分组成，以确保模型能够有效地学习到有用的离散表征，并同时保持输入数据的重建质量:
$$L=L_{\text{recon}}+\alpha L_{\text{quant}}+\beta L_{\text{commit}}$$

• 重建损失（Reconstruction
  Loss）：这部分的损失计算了模型重建的输出与原始输入之间的差异。目标是最小化这一差异，以确保重建的数据尽可能接近原数据。常见的重建损失包括均方误差（MSE）或交叉熵损失，具体取决于输入数据的类型。
• 量化损失（