人工神经网络_biji

除去常见的BP反馈传播算法，CNN、LSTM、GRU等网络，记录和学习一些不常见的知识点

Hebb 学习规则

当神经元i和神经元j同时处于兴奋时，两者之间的连接强度增强。 纯前馈，无导师学习。

Perceptron 学习规则

实际输出和期望值相同时，权重不调整，有误差存在情况下，调整权重。只适用于二进制神经元，属于有监督学习。

winner take-all 学习规则

竞争学习规则，用于无导师学习，对于一个输入x，竞争层的所有p个神经元均有输出相应，其中相应值最大的神经元为在竞争中获胜的神经元，只有获胜神经元才有权调整其权重。

竞争学习神经网络

最简单的结构一个输入层和一个竞争层，输入层负责接收外界信息并将输入模式向竞争层传递，起“观察”作用，竞争层负责对该模式进行“分析比较”，找出规律以正确归类。
学习过程：

1. 向量归一化
2. 寻找获胜神经元
3. 网络输出与权值调整，获胜神经元输出为1其余为0

SOM 自组织特征映射神经网络

Self-organizing feature map 自组织特征映射神经网络，接受外界输入模式 时，分为不同的对应区域，各区域对输入模式具有不同的相应特征。共两层，输出层是竞争层。

Hopfield神经网络

神经网络的三种类型，有监督、无监督和“死记硬背”，即网络的权重不是经过反复学习获得 ，还是按一定规则事先计算出来，Hopfield网络采用这种方式，其权值一经确定不再改变，网络中各神经元的状态在运行过程称中不断更新。

每个神经元都通过链接权接受 所有神经元输出反馈回来 的信息，为了让任一神经元的输出都能接受 所有神经元输出的控制。分为离散型Hopfield网络和连续型Hopfield网络。

反馈网络是一种能存储若干个预先设置 的稳定状态的网络，当向网络作用一个起原始推动作用的初始输入模式后，网络便将其输出反馈回来作为 下次的输入。 若干次迭代后，在网络结构满足一定条件的前提下，网络最终会稳定在某一预先设定的稳定点。
若用网络的稳态代表一种记忆模式，初始状态朝着稳态收敛的过程便是 网络寻找 记忆模式的 过程。

随机神经网络

随机神经网络，既可以“下坡”，也能“爬山”。在学习阶段，随机网络不像其它网络那样基于某种确定性算法调整权值，而是按照某种概率分布进行修改；在运行阶段，随机网络不是按某种确定性的网络方程进行状态演变，而是按某种概率分布决定其状态的转移，神经元的净输入不能决定其状态取1还是取0，但能决定其状态取1还是取0的概率。

Boltzmann机

是由随机神经元组成的二值随机机器，随机神经元以概率方式取两个可能状态之一。Boltzmann机的随机神经元分成两部分，可见部分和隐藏部分。Boltzmann机学习的主要目的是产生一个神经网络，根据Boltzmann分布对输入模式进行正确的建模。

Metropolis 算法

对于模拟一个未知分布的Markov Chain Monte Carlo方法是指产生一个遍历的马尔可夫链而它的平稳分布是未知的。
Metropolis算法的标准形式中，以概率1下山。在Metropolis-Hastings算法中，MCMC针对未知概率分布的模拟，delta_E表示系统从状态i到状态产生的能量差，如果能量差为负，则这次转移导致一个较低能量状态切这次转移被接受。这个新状态也就接受作为算法下步的起点。如果 delta_E为正，算法以概率方式进行处理，产生在[0,1]上均匀分布的随机数，如果随机数小于exp（ delta_E／T），则转移被接受，否则转移被拒绝。其目的在于赋予一定的“爬坡”能力，跳出局部最小。

模拟退火

一个动态的过程，在能量曲面上进行随机移动。使得退火进度表非常慢，能够保证到达全局极小。 确定性退火将随机性耦合到代价函数中，从一个较高温度开始，然后逐渐降低，在每个依次的温度对目标函数进行确定性的优化。

Gibbs抽样

生成一个马尔可夫链，以Gibbs分布作为平衡分布。Gibbs抽样器的转移概率是非平稳的，也就是转移概率不是静态的。而Metropolis 算法的转移概率是静态的。对随机向量X的每个分量，在已知X的其它分量值的条件下，Gibbs抽样器对它的条件分布产生一个值。注意：1. 随机向量x的每个分量是以自然序列“访问”的，每次迭代产生总共K个新的变量值。2. 对于k=2,3,…k，在对X_k采样新值时直接利用分量X_k-1的新值。

Boltzmann机的Gibbs抽样和模拟退火

在Boltzmann机中使用Gibbs采样对有关隐藏神经单元的分布进行采样，开始时给网络赋予任一状态，神经元以自然顺序依次重复访问，每次访问，选择一个神经元，根据其它神经元的值确定该神经元状态新值的选择概率。到达热平衡的时间可能非常长。

径向基网络

多层结构的径向基网络，隐层，由和训练样本的n个数相同的计算单元组成，每个单元都会一个径向基函数，源节点和隐藏单元直接连接，没有权值。高斯隐藏单元被分配给一个共用的宽，将隐藏单元区分开的是参数的中心x.

参考

1. 《神经网络与机器学习》 Simon
2. 《人工神经网络理论、设计及应用》韩力群