9、深度学习网络模型解析

深度学习网络模型解析

1. 多层神经网络

多层感知器（MLP）和Hopfield网络都属于确定性网络。MLP是一种全连接的前馈人工神经网络，它能估计目标数据的条件平均值。“MLP”这个术语的含义比较模糊，有时泛指任何前馈人工神经网络，有时则严格指由多层感知器（具有阈值激活）组成的网络。MLP有时也被通俗地称为“普通”神经网络，特别是在使用反向传播算法时，反向传播是线性感知器中最小均方算法的推广。

Hopfield是一种确定性递归神经网络，因为一旦给定初始状态，其动态变化就会遵循Lyapunov函数。研究表明，它可以解决组合问题并学习时间序列。

Helmholtz和Boltzmann机是随机网络，给定一个输入，网络的状态不会收敛到一个唯一的状态，而是收敛到一个集合分布。Boltzmann机提供了神经网络状态的概率分布，当它们只有一个隐藏层时，是Hopfield网络的随机等价形式。在感知器中，学习是通过在处理每一块数据后，根据输出与预期结果的误差量来改变连接权重实现的，这是监督学习的一个例子。

2. Boltzmann机向Hopfield模型的简化

Boltzmann机可以简化为Hopfield模型。Boltzmann网络的能量水平是温度的函数，当温度高时，能量也高；当温度T = 0时，Boltzmann网络达到一个平衡的能量水平（能量水平不一定为零），此时Boltzmann网络变成一个确定性网络，具体来说变成了Hopfield网络，因为Hopfield网络有Lyapunov函数，可看作一种约束。而MLP没有Lyapunov函数，也就没有这种约束。

BI算法与多层感知器（MLP）更接近，因为BI算法是确定性的，且没有Ly