8、竞争无监督学习过程中的关键技术解析

竞争无监督学习过程中的关键技术解析

1. 矢量量化模拟与参数影响

在矢量量化（VQ）和软矢量量化（SVQ）的数值模拟中，参数的选择对结果有着显著的影响。以 SVQ 为例，当 $n = 2$，$\eta = 0.1$，$\beta = 10$，$N = 100$ 时，数据分布 $p(x)$ 在区域 $\frac{1}{2} < |x| < 1$ 上均匀分布。通过模拟可以观察到码本向量 $m_i$ 在不同迭代次数下的位置变化，随着迭代次数的增加，码本向量逐渐向特定区域聚集，如向圆 $|x| = \frac{3}{4}$ 聚集。

图 5.11 展示了不同 $\beta$ 值下，经过 10000 次迭代后码本向量的渐近位置。不同的 $\beta$ 对应着不同的 $\sigma$ 值，具体如下表所示：
| $\beta$ | $\sigma$ |
| ---- | ---- |
| 50 | 0.1 |
| 10 | ≈0.22 |
| 5 | ≈0.32 |
| 1 | ≈0.71 |

这些 $\sigma$ 值能够帮助我们理解码本向量的聚类特性，体现了理论结果在实际分析中的重要性。

2. 时间依赖学习率

2.1 学习率的选择依据

对于有限的学习率 $\eta$，类型为 (5.4) 的过程可以看作是确定性方程 (5.7) 的噪声版本。在 SVQ 和 VQ 中，初始阶段选择有限的 $\eta$ 可以引入随机性，避免系统陷入误差度量的次优局部最小值。而在渐近阶段，我们希望学习率 $\eta \to 0$，以获得无波动且唯一的最终状态。因此，选择一个缓慢但