38、受限玻尔兹曼机（RBM）的深入探讨

受限玻尔兹曼机（RBM）的深入探讨

1. 判别式受限玻尔兹曼机

传统的生成式方法在受限玻尔兹曼机（RBM）的分类准确性优化上存在不足。这种方法类似协同过滤的直接扩展，但没有完全针对分类准确性进行优化。就像自编码器，仅仅将类别变量加入输入，不一定能在有监督的情况下显著提升降维效果，因为降维往往受特征间无监督关系的主导。

因此，判别式方法常被用于训练RBM，其目标是学习权重以最大化真实类别的条件类似然。例如，在传统RBM中，我们最大化特征变量 $v(f)_i$ 和类别变量 $v_c^i$ 的联合概率；而在判别式变体中，目标函数是最大化类别变量 $y \in {1 \ldots k}$ 的条件概率 $P(v(c)_y = 1|v(f))$，这种方法能更有针对性地提高分类准确性。

$P(v(c) y = 1|v(f))$ 的计算公式如下：
[
P(v(c)_y = 1|v(f)) = \frac{\exp(b(c)_y) - \sum {j=1}^{m}[1 + \exp(b(h) j + u {yj} + \sum_{i} w_{ij}v(f) i)]}{\sum {l=1}^{k} \exp(b(c) l) - \sum {j=1}^{m}[1 + \exp(b(h) j + u {lj} + \sum_{i} w_{ij}v(f)_i)]}
]

对于随机梯度下降，对上述表达式的负对数求导很简单。设 $L$ 是上述表达式的负对数，$\theta$ 是玻尔兹曼机的任意参数（如权重或偏置），则有：
[
\fra