qq_40905198的博客

本文是博主的学习笔记，因为对玻尔兹曼机的研究不够深入，因此文章主要是根据学习资料和自己的理解浅显的叙述一遍从玻尔兹曼机到受限玻尔兹曼机，再到对比散度算法，最后到深度信念网络的过程，如有不妥的地方，还望批评改正。玻尔兹曼机在Hopfield神经网络中，如果发生串扰和陷入局部最优解，网络将不能正确回忆模式，而玻尔兹曼机的出现避免了局部最优解。 玻尔兹曼机网络的结构和Hopfield一样，如下图所示：各神经单元之间相互连接，两单元之间的权重是对称的，即wij=wjiw_{ij}=w_{ji}wij​=wj

Hopfiled神经网络Hopfiled神经网络由物理学家J.J.Hopfiled于1982年提出。这是一种单层反馈式神经网络，同时“能量函数”概念的引入使神经网络的稳定运行有了判断依据，为神经网络的复兴立下了不可磨灭的功劳。Hopfiled神经网络的权值并不像有监督和无监督学习一样反复学习获得，而是按照事先确定好的规则直接计算出来的，并且权重一旦确定就不再发生改变，在之后进行模式回忆时只发生神经元状态的改变，网络稳定时神经元的状态便是对问题的求解结果。Hopfiled神经网络分为离散型和连续性，分别

1

原理误差反向传播算法是通过误差函数计算实际输出值与期望输出值之间的误差，把误差从最后的输出层依次传播到之前各层，最后通过调整各层连接权重与偏置达到减小误差的目的。而权重和偏置的调整一般使用梯度下降法。推导前的准备本文误差反向传播算法的推导以包含隐藏层的多层感知器为例，结构如下图所示：这里，图中和推导过程中涉及的符号代表的含义分别为：符号含义xix_ixi​输入值aja_jaj​隐藏层激活值yky_kyk​实际输出值rkr_krk​期望输出值w1

本文主要以简洁的语言讲解M-P模型原理。原理M-P模型是首个模仿神经元信息传递方式而提出的模型，其基本原理如图1所示：这里，各符号表示的意义是：在M-P中多个输入对应一个输出，输出为各输入值的加权求和，即：接下来输出值和阈值h比较，如果大于阈值，输出1，否则输出0。注：输入和输出值均为0或1。于是，整个M-P模型计算过程可以表示为：举例说明：M-P模型可以有如下图2两种模式：图2（a）可以用表示取反运算，图2（b）可以表示逻辑与和逻辑或问题。假设以逻辑或为例，给出输入输出，计算

神经网络的发展也经历了高潮和低谷，本文主要对其发展的几个关键节点进行简要说明，之后的文章会各阶段主要技术进行讲解。第一阶段1943年，美国神经生理学家Warren McCulloch和数学家Walter Pitts首次提出形式神经元模型–M-P模型；1958年，Roseblatt提出感知器；1969年，Minsky和Papert指出感知器无法解决线性不可分问题，神经网络的发展陷入低潮。第二阶段1980年，福岛邦彦等人提出神经认知机；1982年，Hopfield等人提出Hopfield 模型；

深度学习 用Pytorch写一元线性回归网络一元线性回归的求解方法有很多种，博主之所以用深度学习的方法实现主要是为了在提高自己的理解的同时给要学习的同学提供一些帮助，本人小白，请大佬路过留情，不要嘲笑。网络虽简单，但对理解数学原理，也是能起到比较好的帮助。直接上代码，必要注释都已添加：#从头搭建一个线性回归网络import torchimport numpy as npimport t...