学习笔记Task4

赶项目进度，仅了解

认识

神经网络是由具有适应性的简单单元所组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界所做出的的交互反应。

神经网络最基本的成分是神经元模型，当通过神经元的信息信好超过某一个阈值，那么该神经元就会激活，从而作用于下一个神经元。

在M-P神经元模型中，神经元接收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过激活函数处理以产生神经元的输出。

理想的激活函数是阶跃函数，取值0和1用来表示神经元的抑制和兴奋状态。然而阶跃函数不连续、不光滑，所以常用sigmod函数代替。

把多个神经元按一定的层次结构连接起来，就得到了神经网络。

数学模型：$y_j=f({\sum }_i{\omega }_i{x}_i-{\theta }_j)$
其中$f()$为激活函数，$\omega$为权重，$\theta$为阈值

感知机

我们已知多个神经元按一定的层次结构连接起来就可以得到神经网络，感知机就是由两层神经元组成的。

• 第一层：输入层，接收外界输入信号，然后传递给输出层；
• 第二层：输出层，一个M-P神经元（阈值逻辑单元）。

多层前馈神经网络

感知机结构简单，学习能力也十分有限，因为它只有一层功能神经元（输出层），只能处理线性可分的问题，如果需要解决非线性可分的问题，就要采用多层功能神经元。
具体做法是：在输入层与隐藏层之间添加一层或多层神经元，称为隐层 或者隐藏层，隐藏层的神经元和输出层一样都是具有激活函数的功能性神经元。

在这种结构下，每层神经元与下一层的神经元全连接，不存在同层连接或跨层连接，输入层接收外界的信号，依次向下一层传递，每层神经元对信号进行加工，最终结果由输出层神经元输出。

误差逆传播算法/BP

多层网络的学习能力比感知机强得多，但是学习规则也需要更加强大的算法。**误差逆传播算法（error BackPropagation）**就是其中最杰出的代表。
BP算法主要基于微积分链式求导法则，反向传递导数，基于梯度下降策略，以目标的负梯度方向对参数进行调整。
BP神经网络在学习中通常会过拟合，通常有两种解决方式：

• 一是早停，即验证集误差升高时停止训练，同时返回具有最小验证集误差的连接权值和阈值。
• 二是正则化，即为连接权值加惩罚项，以描述其复杂度。