深度学习在图像识别中的应用--学习笔记3

第5 章深度置信网络

深度置信网来源：Hinton提出，是深度全连接神经网。

本质：深度置信网络是一种传统神经网络的推广。

神经元：

包含：d个输入[x],d个权值[w],一个偏置b,非线性映射的激活函数。

网络的逻辑表达：

若权值w设为[-2 , -2] b=3，这神经元就是一个与非门。而与非门又可以构成传统的：与门，或门，非门。

神经网络的前馈（正向训练）

图5-4：三层网络。神经激活是自底向上传播的。（注意，在这里底层指的是数据的输入端，上层指的是数据的输出端）

自底向上的激活，被解释为特征提取或重新编码。当接收到一个数据时，神经网络将这个数据逐层地进行特征抽取，过滤掉一些冗余信息，将剩余的重新编码，最后利用一个分类器将抽取到的最抽象（即最顶层）特征进行分类，从而完成整个识别过程。

神经激活

作为激活函数的条件：

1、连续，且要求可导，否则无法利用反向传播进行训练。

2、非线性，否则多层实际相当于2层

3、有饱和性：存在上界或下届

常用的几种激活函数：

1 sigmoid激活

sigmoid函数也称为：logistic函数。

      （注意：）

这里的net  表示的是权值相乘计算后的值，被称为“净激活”。f(net)为激活函数或转移函数。

导函数为：

接通过网络的输出直接计算激活函数相对于净激活的偏导数而不必引入额外的计算。

上面的理解：只利用输出值f(net) 就可以计算出 f'(net)--{激活函数f*()对于净激活net的偏导数}

双曲正切函数:

ReLU激活函数

ReLU缺点：：在net < 0时导数为0，从而导致反向传播无法更新参数。

改进函数（softplus）：圆滑版本

PReLU改进版本：

选取哪种函数：

习惯上，在全连接神经网络中，我们更喜欢sigmoid派的激活函数，而在卷积网络中，我们更喜欢ReLU派的激活函数，尽管这些都不是强制的。