神经网络

最新推荐文章于 2025-01-18 14:56:25 发布

Ch-e-r-i-s-h

最新推荐文章于 2025-01-18 14:56:25 发布

阅读量2.9k

点赞数 1

分类专栏： DeepLearning 机器学习文章标签：神经网络 MLP 机器学习

本文链接：https://blog.youkuaiyun.com/sq8912/article/details/45485463

版权

机器学习同时被 2 个专栏收录

8 篇文章

订阅专栏

DeepLearning

4 篇文章

订阅专栏

一、概述

以监督学习为例，假设有训练样本集 $\textstyle (x(^ i),y(^ i))$ ，那么神经网络算法能够提供一种复杂且非线性的假设模型 $\textstyle h_{W,b}(x)$ ，它具有参数 $\textstyle W, b$ ，可以以此参数来拟合训练数据。

最简单的神经网络仅由一个“神经元”构成，以下即是这个“神经元”的示意图：

图1 单个神经元构成的网络

这个“神经元”是一个以 $\textstyle x_1, x_2, x_3$ 及bias $\textstyle +1$ 为输入值的运算单元，其输出为 $\textstyle h_{W,b}(x) = f(W^Tx) = f(\sum_{i=1}^3 W_{i}x_i +b)$ ，其中函数 $\textstyle f : \Re \mapsto \Re$ 被称为“激活函数”。通常，激活函数的选择有以下3种：tanh函数、sigmoid函数、rectified linear函数，函数图像如图2所示。

图2 激活函数对应的图形

本文选用sigmoid函数作为激活函数 $\textstyle f(\cdot)$ 。

$f(z) = \frac{1}{1+\exp(-z)}.$ (1)

可以看出，这个单一“神经元”的输入-输出映射关系其实就是一个logistic regression。

二、神经网络模型

神经网络就是将许多个单一“神经元”联结在一起，这样，一个“神经元”的输出就可以是另一个“神经元”的输入。例如，下图就是一个简单的神经网络：

图3 包含一个隐层的神经网络

神经网络最左边的一层叫做输入层，最右的一层叫做输出层（可包含多个输出）。中间所有节点组成的一层叫做隐藏层（可添加多个隐层），因为我们不能在训练样本集中观测到它们的值。

用 $\textstyle {n}_l$ 来表示网络的层数，本例中 $\textstyle n_l=3$ ，将第 $\textstyle l$ 层记为 $\textstyle L_l$ ，于是 $\textstyle L_1$ 是输入层，输出层是 $\textstyle L_{n_l}$ 。本例神经网络有参数 $\textstyle (W,b) = (W^{(1)}, b^{(1)}, W^{(2)}, b^{(2)})$ ，其中 $\textstyle W^{(l)}_{ij}$ 是第 $\textstyle l$ 层第 $\textstyle j$ 单元与第 $\textstyle l+1$ 层第 $\textstyle i$ 单元之间的联接参数（其实就是连接线上的权重，注意标号顺序）， $\textstyle b^{(l)}_i$ 是第 $\textstyle l+1$ 层第 $\textstyle i$ 单元的偏置项。因此在本例中， $\textstyle W^{(1)} \in \Re^{3\times 3}$ ， $\textstyle W^{(2)} \in \Re^{1\times 3}$ 。注意，没有其他单元连向偏置单元(即偏置单元没有输入)，因为它们总是输出 $\textstyle +1$ 。同时，我们用 $\textstyle s_l$ 表示第 $\textstyle l$ 层的节点数（偏置单元不计在内）。

三、求解神经网络

在给定训练数据集的情况下，可以构建一个神经网络来对这些数据进行拟合。构建过程主要分为2步：1）前向传播 2）反向求导。在前向传播过程中，给定权值和bias矩阵，可以得到给定样本对应的预测值（激活值）；在反向求导过程，通过样本预测值与样本真实值之间的误差来不断修正网络参数，直至收敛。

（1）前向传播

用 $\textstyle a^{(l)}_i$ 表示第 $\textstyle l$ 层第 $\textstyle i$ 单元的激活值。当 $\textstyle l=1$ 时， $\textstyle a^{(1)}_i = x_i$ ，也就是第 $\textstyle i$ 个输入值（输入值的第 $\textstyle i$ 个特征）。对于给定参数集合 $\textstyle W,b$ ，神经网络就可以按照函数 $\textstyle h_{W,b}(x)$ 来计算每一层每个节点的输出结果。本例神经网络的计算步骤如下：

$\begin{align}a_1^{(2)} &= f(W_{11}^{(1)}x_1 + W_{12}^{(1)} x_2 + W_{13}^{(1)} x_3 + b_1^{(1)}) \\a_2^{(2)} &= f(W_{21}^{(1)}x_1 + W_{22}^{(1)} x_2 + W_{23}^{(1)} x_3 + b_2^{(1)}) \\a_3^{(2)} &= f(W_{31}^{(1)}x_1 + W_{32}^{(1)} x_2 + W_{33}^{(1)} x_3 + b_3^{(1)}) \\h_{W,b}(x) &= a_1^{(3)} = f(W_{11}^{(2)}a_1^{(2)} + W_{12}^{(2)} a_2^{(2)} + W_{13}^{(2)} a_3^{(2)} + b_1^{(2)}) \end{align}$ （2）

用 $\textstyle z^{(l)}_i$ 表示第 $\textstyle l$ 层第 $\textstyle i$ 单元输入加权和（包括偏置单元），比如，

$\textstyle z_i^{(2)} = \sum_{j=1}^n W^{(1)}_{ij} x_j + b^{(1)}_i$ ，则 $\textstyle a^{(l)}_i = f(z^{(l)}_i)$ （3）

公式（2）叫作前向传播公式，用矩阵来表示更为简洁：

$\begin{align}z^{(l+1)} &= W^{(l)} a^{(l)} + b^{(l)} \\a^{(l+1)} &= f(z^{(l+1)})\end{align}$ （4）

（2）反向传播

由于前向传播阶段的权值和bias是随机初始化的，因此需要根据网络输出误差不断的对参数进行修正。设整个神经网络的损失函数为 ,梯度下降法中每一次迭代都按照如下公式对参数 $\textstyle W$ 和 $\textstyle b$ 进行更新：

$\begin{align}W_{ij}^{(l)} &= W_{ij}^{(l)} - \alpha \frac{\partial}{\partial W_{ij}^{(l)}} J(W,b) \\b_{i}^{(l)} &= b_{i}^{(l)} - \alpha \frac{\partial}{\partial b_{i}^{(l)}} J(W,b)\end{align}$ （5）