神经网络及相关公式推导

最新推荐文章于 2025-09-26 16:59:50 发布

原创最新推荐文章于 2025-09-26 16:59:50 发布 · 942 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #python

机器学习专栏收录该内容

10 篇文章

订阅专栏

本文深入探讨了神经网络的基本概念，包括输入输出表示、代价函数的定义与计算，以及前向传播和后向传播算法的详细步骤。通过数学公式解析了神经网络训练过程中的关键环节，如偏导数计算、梯度下降等。

1. 神经网络

neural_network
输入 $x_1, x_2,...,x_n]$ ，输出 $y_1, y_2,...,y_k]$ 。
当输出分类 $k > 2$ 时，使用
$[10...0],[01...0],[0...10],[00...1]\begin{bmatrix}1\\0\\... \\0\end{bmatrix},\begin{bmatrix}0\\1\\...\\0\end{bmatrix},\begin{bmatrix}0\\...\\1\\0\end{bmatrix},\begin{bmatrix}0\\0\\...\\1\end{bmatrix}$
作为输出。

2. 代价函数

$J(Θ)=−1m[∑i=1m∑k=1Kyk(i)log(hΘ(x(i)))k+(1−yk(i))log(1−(hΘ(x(i)))k)]+λ2m∑l=1L−1∑i=1sl∑j=1s(l+1)(Θji(l))2J(\Theta)=-\frac{1}{m}\left[\sum_{i=1}^{m}\sum_{k=1}^{K}y_k^{(i)}log(h_{\Theta}(x^{(i)}))_k+(1-y_k^{(i)})log(1-(h_{\Theta}(x^{(i)}))_k)\right]+\frac{\lambda}{2m}\sum_{l=1}^{L-1}\sum_{i=1}^{s_l}\sum_{j=1}^{s_{(l+1)}}(\Theta_{ji}^{(l)})^2$

3. 前向传播

$a(1)=xa(l)=hΘ(l)(a(l−1)^)=g(Θ(l−1)[1a(l−1)]),1<l≤LΘ(l)∈Rsl+1×(sl+1) a^{(1)}=x \\a^{(l)} = h_{\Theta^{(l)}}(\widehat{a^{(l-1)}})=g\left({\Theta^{(l-1)}}\begin{bmatrix}1\\a^{(l-1)}\end{bmatrix}\right),1<l\le L \\\Theta^{(l)} \in \Bbb R^{s_{l+1}\times(s_l+1)}$

4. 后向传播

$δ(L)=(a(L)−y)a(L)(1−a(L))δ(l)=(Θ(l)^)Tδ(l+1).∗a(l).∗(1−a(l)),1<l<LΘ(l)^为不包含θ0的Θ(l)\delta^{(L)} = (a^{(L)}-y)a^{(L)}(1-a^{(L)}) \\ \delta^{(l)} = (\widehat{\Theta^{(l)}})^T\delta^{(l+1)}.*a^{(l)}.*(1-a^{(l)}), 1<l<L \\\widehat{\Theta^{(l)}}为不包含\theta_0的\Theta^{(l)}$

5. 后向传播推导

由前向传播可得：
$[θ1,0(l)θ1,1(l)...θ1,sl(l)θ2,0(l)θ2,1(l)...θ2,sl(l)............θs(l+1),0(l)θs(l+1),1(l)...θs(l+1),sl(l)][1a1(l)a2(l)...asl(l)]=[z1(l+1)z2(l+1)...zs(l+1)(l+1)]→g(x)→[a1(l+1)a2(l+1)...as(l+1)(l+1)]\begin{bmatrix}\theta_{1,0}^{(l)} & \theta_{1,1}^{(l)} & ... & \theta_{1,s_l}^{(l)}\\\theta_{2,0}^{(l)} & \theta_{2,1}^{(l)} & ... & \theta_{2,s_l}^{(l)}\\... & ... & ... & ...\\\theta_{s_{(l+1)},0}^{(l)} & \theta_{s_{(l+1)},1}^{(l)} & ... & \theta_{s_{(l+1)},s_l}^{(l)}\\\end{bmatrix}\begin{bmatrix}1 \\a_1^{(l)} \\a_2^{(l)} \\... \\a_{s_l}^{(l)} \\\end{bmatrix}=\begin{bmatrix}z_1^{(l+1)} \\z_2^{(l+1)} \\... \\z_{s_{(l+1)}}^{(l+1)} \\\end{bmatrix}\to g(x) \to\begin{bmatrix}a_1^{(l+1)} \\a_2^{(l+1)} \\... \\a_{s_{(l+1)}}^{(l+1)} \\\end{bmatrix}\\$
$ai(l+1)=g(zi(l+1))=g(θi,0(l)+θi,1(l)a1(l)+θi,2(l)a2(l)+...+θi,sl(l)as1(l))a_i^{(l+1)} = g(z_i^{(l+1)}) = g(\theta_{i,0}^{(l)}+\theta_{i,1}^{(l)}a_1^{(l)}+\theta_{i,2}^{(l)}a_2^{(l)}+...+\theta_{i,s_l}^{(l)}a_{s_1}^{(l)})\\$
设输出对激励输入的偏导数为当前输入的误差，则：
$dJ(x,\theta)=\delta_i^{(l+1)}d(z_i^{(l+1)}) = \delta_i^{(l+1)}d(\sum_{k=0}^{s_l}\theta_{i, k}^{(l)}a_k^{(l)}) \tag{1}$
所以有：
$\begin{aligned} \frac{dJ(x,\theta)}{d(z_m^{(l)})} &= \frac{dJ(x,\theta)}{d(z^{(l+1)})}\frac{d(z^{(l+1)})}{d(z_m^{(l)})}=\sum_{i=1}^{s_{l+1}}\delta_i^{(l+1)}d(\sum_{k=0}^{s_l}\theta_{i, k}^{(l)}a_k^{(l)})/d(z_m^{(l)}) \\&=\sum_{i=1}^{s_{l+1}}\delta_i^{(l+1)}\sum_{k=0}^{s_l}\theta_{i, k}^{(l)}\frac{d(a_k^{(l)})}{d(z_m^{(l)})}=\sum_{i=1}^{s_{l+1}}\delta_i^{(l+1)}\theta_{i, m}^{(l)}a_m^{(l)}(1-a_m^{(l)})\\ \end{aligned}$
得到：
$\delta_m^{(l)}=a_m^{(l)}(1-a_m^{(l)})\sum_{i=1}^{s_{l+1}}\delta_i^{(l+1)}\theta_{i, m}^{(l)}\\$
向量扩充：
$[δ1(l)δ2(l)...δsl(l)]=[a1(l)a2(l)...asl(l)].∗(1−[a1(l)a2(l)...asl(l)]).∗([θ1,1(l)θ2,1(l)...θsl+1,1(l)θ1,2(l)θ2,2(l)...θsl+1,2(l)...θ1,sl(l)θ2,sl(l)...θsl+1,sl(l)][δ1(l+1)δ2(l+1)...δsl+1(l+1)])\begin{bmatrix}\delta_1^{(l)} \\ \delta_2^{(l)} \\ ... \\ \delta_{s_l}^{(l)}\end{bmatrix}=\begin{bmatrix}a_1^{(l)} \\ a_2^{(l)} \\ ... \\ a_{s_l}^{(l)}\end{bmatrix}.*\left (1-\begin{bmatrix}a_1^{(l)} \\ a_2^{(l)} \\ ... \\ a_{s_l}^{(l)}\end{bmatrix}\right).*\left(\begin{bmatrix}\theta_{1, 1}^{(l)} &\theta_{2, 1}^{(l)} &...&\theta_{s_{l+1}, 1}^{(l)}\\ \theta_{1, 2}^{(l)} &\theta_{2, 2}^{(l)} &...&\theta_{s_{l+1}, 2}^{(l)} \\ ... \\ \theta_{1, s_l}^{(l)} &\theta_{2, s_l}^{(l)} &...&\theta_{s_{l+1}, s_l}^{(l)}\end{bmatrix}\begin{bmatrix}\delta_1^{(l+1)} \\ \delta_2^{(l+1)} \\ ... \\ \delta_{s_{l+1}}^{(l+1)}\end{bmatrix}\right) \\$
最后得到：
$δ(l)=a(l).∗(1−a(l)).∗(θ(l)Tδ(l+1))(2)\delta^{(l)}=a^{(l)}.*(1-a^{(l)}).*({\theta^{(l)}}^T\delta^{(l+1)}) \tag{2}$
又由公式（1）得：
$\frac{dJ(x,\theta)}{d\theta_{i, j}^{(l)}}=\delta_i^{(l+1)}a_j^{(l)} \tag{3}$
假设 $J(x,θ)=12(h(x)−y)2J(x,\theta)=\frac{1}{2}(h(x)-y)^2$ ，则：
$\delta^{(L)}=\frac{dJ(x,\theta)}{dz^{L}}=\frac{dJ(x,\theta)}{da^{L}}\frac{da^{L}}{dz^{L}}$
得到
$\delta^{(L)}=(a^{L}-y)a^{L}(1-a^{L}) \tag{4}$

6. 后向传播算法

误差矩阵 $Δij(l)\Delta_{ij}^{(l)}$ 初始化为零
For i=1:m
(1). $a^{(1)}=x^{(i)}$ 其中 $a$ 的上标表示不同的层数， $x$ 的上标表示不同的测试样本
(2). 利用前向传播计算 $a^{(2)},a^{(3)},...,a^{(L)}$
(3). 初始 $δ(L)=(a(L)−y(i))a(L)(1−a(L))\delta^{(L)}=(a^{(L)}-y^{(i)})a^{(L)}(1-a^{(L)})$
(4). 利用后向传播计算 $δ(l)\delta^{(l)}$
(5). $Δij(l)\Delta_{ij}^{(l)}$ := $Δij(l)+aj(l)δil+1\Delta_{ij}^{(l)}+a_j^{(l)}\delta_i^{l+1}$
求出偏导数 $Dij(l)=1mΔij(l)+λθij(l)D_{ij}^{(l)}=\frac{1}{m}\Delta_{ij}^{(l)}+\lambda\theta_{ij}^{(l)}$
利用偏导数进行梯度下降