79、基于受限玻尔兹曼机的高压直流输电系统故障估计研究

基于受限玻尔兹曼机的高压直流输电系统故障估计研究

1. 对比散度（CD）算法

对比散度（CD）是由Geoffery Hinton提出的一种近似最大似然学习算法。该算法遵循两个散度之差的梯度，有助于降低计算对数似然函数的难度。

在受限玻尔兹曼机（RBM）中，通常使用CD算法进行数据训练。此算法需要指定训练样本、隐藏层数量、学习率和最大训练周期作为输入，输出通常为权重$w$、隐藏层偏置$b$和可见层偏置$a$。权重会被优化以训练专家模型的乘积。在算法中会执行吉布斯采样，并将其用于梯度下降过程中以评估权重。训练时，可见层通常作为初始化单元$V_1 = X$，$w$、$a$和$b$的最小值是随机选择的。

以下是算法的部分流程：
- 对于$t = 1, 2, …, T$
- 对于$j = 1, 2, …, m$（所有隐藏单元），根据分布条件进行计算
- 对于$j = 1, 2, …, n$（所有可见单元），根据分布条件进行计算
- 对于$j = 1, 2, …, m$（所有隐藏单元），进行计算

在研究中，构建了RBM分类器。该分类器模型有两层，下层由多个RBM层堆叠而成，上层添加了包含所需输出变量的分类层。顶层单元使用softmax分类器输出，即对不同状态的概率求和，并将概率最大的状态进行分类。

下面是CD学习的RBM流程图：

graph LR
    A[输入训练样本、隐藏层数量、学习率、最大训练周期] --> B[初始化可见层V1 = X，随机选择w、a、b最小值]
    B --> C{t = 1到T循环}