神经网络-误差反向传播算法(一)_多层感知机误差传递-优快云博客

本文链接：https://blog.youkuaiyun.com/xu_ampl/article/details/95040890

本文详细解析了误差反向传播算法在不同类型的神经网络中的应用，包括单层感知器、不含中间层的多层感知器、包含中间层的多层感知器以及有多个输出函数的多层感知器。通过比较实际输出与期望输出，利用梯度下降法调整各层权重以减少误差。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

图解深度学习笔记
误差反向传播算法
误差反向传播算法通过比较实际输出和期望输出得到误差信号，把误差信号从输出层逐层向前传播得到各层的误差信号，再通过调整各层的连接权重以减小误差。权重的调整主要使用梯度下降法。
本文主要为以下方面的推导

单层感知器
不含中间层的多层感知器
包含中间层的多层感知器
有多个输出函数的多层感知器

一、单层感知器
期望输出 $r$ 和网络的实际输出 $y$ 计算最小二乘误差函数 $E$
连接权重 $w$ 、 $\eta$ 表学习率、 $\text{sigmoid}$ 函数作为激活函数 $f (u)$
单层感知器： $\frac{\partial E}{\partial w_{i}}=\frac{\partial E}{\partial y} \frac{\partial y}{\partial w_{i}} \qquad(1)$ 设 $y = f (u)$ ，求误差函数 $E$ 对 $w_i$ 的导数： $\frac{\partial E}{\partial w_{i}}=-(r-y) \frac{\partial y}{\partial w_{i}}=-(r-y) \frac{\partial f(u)}{\partial w_{i}} \qquad(2)$ $f (u)$ 的导数就是对复合函数求导 $\frac{\partial E}{\partial w_{i}}=-(r-y) \frac{\partial f(u)}{\partial u} \frac{\partial u}{\partial w_{i}} \qquad(3)$ $u$ 对 $w_i$ 求导的结果只和 $x_i$ 相关 $\frac{\partial u}{\partial w_{i}}=x_{i} \qquad(4)$
将公式 $(4)$ 代入 $(3)$ 公式，得到下式 $\frac{\partial E}{\partial w_{i}}=-(r-y) x_{i} \frac{\partial f(u)}{\partial u} \qquad(5)$ 对 $\text{sigmoid}$ 函数求导 $\frac{\partial f(u)}{\partial u}=f(u)(1-f(u)) \qquad(6)$ 将公式 $(6)$ 代入 $(5)$ 公式，得到下式 $\frac{\partial E}{\partial w_{i}}=-(r-y) x_{i} f(u)(1-f(u)) \qquad(7)$ 由于 $y = f (u)$ ，可以计算出单层感知器的权重调整值： $\Delta w_{i}=-\eta \frac{\partial E}{\partial w_{i}}=\eta(r-y) y(1-y) x_{i} \qquad(8)$
二、不含中间层的多层感知器

不含中间层的感知器误差函数 $E$ 等于各输出单元的误差总和 $E=\frac{1}{2} \sum_{j=1}^{q}\left(r_{j}-y_{j}\right)^{2} \qquad(9)$ 对误差函数求导 $\frac{\partial E}{\partial w_{i j}}=\frac{\partial E}{\partial y_{j}} \frac{\partial y_{j}}{\partial w_{i j}} \qquad(10)$