神经网络反向传播算法推导

最新推荐文章于 2024-11-23 21:11:26 发布

原创最新推荐文章于 2024-11-23 21:11:26 发布 · 315 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#神经网络 #深度学习 #线性代数

本文聚焦神经网络反向传播，介绍了神经网络结构，推导损失函数J(w)对w和b的梯度，指出求权重矩阵w梯度需用到后面矩阵的梯度∂hL∂J。还探讨了通过非线性变换fL求∂hL∂J，分析了Sigmoid、tanh、ReLU三种常见函数下的计算方法。

神经网络结构：
在这里插入图片描述
$OUT=Z_Lw_{L+1}+\tilde b_{L+1}$

设：
$Z_L=\left[\begin{matrix}z_{11}&z_{12}&z_{13}\\z_{21}&z_{22}&z_{23}\end{matrix}\right]$ , $W_{L+1}=\left[\begin{matrix}w_{11}&w_{12}\\w_{21}&w_{22}\\w_{31}&w_{32}\end{matrix}\right]$ ,
$b_{L+1}=\left[\begin{matrix}b_1\\b_2\end{matrix}\right]$

$\tilde b_{L+1}=\left[\begin{matrix}b_{11}&b_{12}\\b_{21}&b_{22}\end{matrix}\right]$ , $OUT=\left[\begin{matrix}o_{11}&o_{12}\\o_{21}&o_{22}\end{matrix}\right]$

则：
$Z_Lw_{L+1}=\left[\begin{matrix}z_{11}&z_{12}&z_{13}\\z_{21}&z_{22}&z_{23}\end{matrix}\right]\left[\begin{matrix}w_{11}&w_{12}\\w_{21}&w_{22}\\w_{31}&w_{32}\end{matrix}\right]=\left[\begin{matrix}z_{11}w_{11}+z_{12}w_{21}+z_{13}w_{31}&z_{11}w_{12}+z_{12}w_{22}+z_{13}w_{32}\\z_{21}w_{11}+z_{22}w_{21}+z_{23}w_{31}&z_{21}w_{12}+z_{22}w_{22}+z_{23}w_{32}\end{matrix}\right]$
$OUT=\left[\begin{matrix}o_{11}&o_{12}\\o_{21}&o_{22}\end{matrix}\right]$

$o_{11}=z_{11}w_{11}+z_{12}w_{21}+z_{13}w_{31}+b_1$
$o_{12}=z_{11}w_{12}+z_{12}w_{22}+z_{13}w_{32}+b_2$
$o_{21}=z_{21}w_{11}+z_{22}w_{21}+z_{23}w_{31}+b_1$
$o_{22}=z_{21}w_{12}+z_{22}w_{22}+z_{23}w_{32}+b_2$

反向传播的目的是优化各个 $w$ 矩阵， $f$ 不需要优化，因为里面没有参数。所以损失函数表示为 $J (w)$ 。

下面算损失函数 $J (w)$ 对 $w$ 的梯度：
损失函数 $J$ 为预测值OUT减去实际标签值后，求MSE或CE，所以 $J$ 为列向量的范数或CE，与 $o$ 和 $w$ 有关系，所以用链式求导：
可以设 $||Z_Lw_{L+1}+\tilde b_{L+1}-Y||^2=J$ （此处范数为Frobenius范数，即矩阵元素绝对值的平方和再开平方；当然也可以选用CE或其他形式）， $a$ 中包含 $w$ ，则 $J (w)$ 对 $w$ 求梯度，即对 $w$ 矩阵中每一个元素求梯度：

$\frac{\partial J}{\partial w_{11}}=\frac{\partial J}{\partial o_{11}}z_{11}+\frac{\partial J}{\partial o_{21}}z_{21}$ ， $\frac{\partial J}{\partial w_{12}}=\frac{\partial J}{\partial o_{12}}z_{11}+\frac{\partial J}{\partial o_{22}}z_{21}$

$\frac{\partial J}{\partial w_{21}}=\frac{\partial J}{\partial o_{11}}z_{12}+\frac{\partial J}{\partial o_{21}}z_{22}$ ， $\frac{\partial J}{\partial w_{22}}=\frac{\partial J}{\partial o_{12}}z_{12}+\frac{\partial J}{\partial o_{22}}z_{22}$

$\frac{\partial J}{\partial w_{31}}=\frac{\partial J}{\partial o_{11}}z_{13}+\frac{\partial J}{\partial o_{21}}z_{23}$ ， $\frac{\partial J}{\partial w_{32}}=\frac{\partial J}{\partial o_{12}}z_{13}+\frac{\partial J}{\partial o_{22}}z_{23}$

注意：此处因为 $W_{L+1}=\left[\begin{matrix}w_{11}&w_{12}\\w_{21}&w_{22}\\w_{31}&w_{32}\end{matrix}\right]_{3\times 2}$ ，有两套参数，所以求损失函数时用Frobenius范数，即矩阵元素绝对值的平方和再开平方。

所以：
$\frac{\partial J}{\partial W_{L+1}}=\left[\begin{matrix}\frac{\partial J}{\partial w_{11}}&\frac{\partial J}{\partial w_{12}}\\\frac{\partial J}{\partial w_{21}}&\frac{\partial J}{\partial w_{22}}\\\frac{\partial J}{\partial w_{31}}&\frac{\partial J}{\partial w_{32}}\end{matrix}\right]=\left[\begin{matrix}z_{11}&z_{21}\\z_{12}&z_{22}\\z_{13}&z_{23}\end{matrix}\right]\left[\begin{matrix}\frac{\partial J}{\partial o_{11}}&\frac{\partial J}{\partial o_{12}}\\\frac{\partial J}{\partial o_{21}}&\frac{\partial J}{\partial o_{22}}\\\end{matrix}\right]=Z_L^T\frac {\partial J}{\partial OUT}$

可见在线性变换的最后一层求导已经用到OUT的偏导数了。

损失函数 $J (w)$ 对 $b$ 的梯度：

$b_{L+1}=\left[\begin{matrix}b_1\\b_2\end{matrix}\right]$ ，拓展为： $\tilde b_{L+1}=\left[\begin{matrix}b_{11}&b_{12}\\b_{21}&b_{22}\end{matrix}\right]$

其实 $b_{11}=b_{12}=b_1$ , $b_{12}=b_{22}=b_2$

$\frac{\partial J}{\partial b_1}=\frac{\partial J}{\partial o_{11}}+\frac{\partial J}{\partial o_{21}}$

$\frac{\partial J}{\partial b_2}=\frac{\partial J}{\partial o_{12}}+\frac{\partial J}{\partial o_{22}}$

即： $\left[\begin{matrix}\frac{\partial J}{\partial b_{L+1}}\end{matrix}\right]=\left[\begin{matrix}\frac{\partial J}{\partial b_1}\\\frac{\partial J}{\partial b_2}\end{matrix}\right]=\left[\begin{matrix}\frac{\partial J}{\partial o_{11}}+\frac{\partial J}{\partial o_{21}}\\\frac{\partial J}{\partial o_{12}}+\frac{\partial J}{\partial o_{22}}\end{matrix}\right]$

此矩阵每行的元素对于把 $\frac {\partial J}{\partial OUT}$ 矩阵的每列元素相加。

总结：

可见，不论 $J (w)$ 对 $w$ 还是对 $b$ 求偏导，都用到 $\frac {\partial J}{\partial OUT}$ 。所以可以把此规律推广到 $h_1=xw_1+\tilde b_1$ , $h_2=Z_1w_2+\tilde b_2$ 等所有的线性连接层，可以通过其输出的 $\frac {\partial J}{\partial OUT}$ 求出 $J (w)$ 对 $w$ 和对 $b$ 的偏导数。如，对于第L-1层，有 $\frac{\partial J}{\partial W_{L}}=Z_{L-1}^T\frac {\partial J}{\partial h_L}$ 。而前向传播的时候， $Z_{L-1}$ 已经求出来了，所以 $J (w)$ 对本层权重矩阵 $w$ 的梯度为上一层结果的转置 $Z_{L-1}^T$ 乘以权重矩阵后面一个矩阵的梯度 $\frac {\partial J}{\partial h_L}$ 。

所以反向传播的时候，若要算权重矩阵 $w$ 的梯度，还要用到其后面的矩阵的梯度 $\frac {\partial J}{\partial h_L}$ （因为 $Z_{L-1}^T$ 已知），而这是要求的。

求 $\frac {\partial J}{\partial h_L}$ ：

根据最后一层：
$OUT=Z_Lw_{L+1}+\tilde b_{L+1}$

$Z_L=\left[\begin{matrix}z_{11}&z_{12}&z_{13}\\z_{21}&z_{22}&z_{23}\end{matrix}\right]$

对 $Z$ 求偏导：
$\frac{\partial J}{\partial z_{11}}=\frac{\partial J}{\partial o_{11}}w_{11}+\frac{\partial J}{\partial o_{12}}w_{12}$ ， $\frac{\partial J}{\partial z_{12}}=\frac{\partial J}{\partial o_{11}}w_{21}+\frac{\partial J}{\partial o_{12}}w_{22}$ ,

$\frac{\partial J}{\partial z_{13}}=\frac{\partial J}{\partial o_{11}}w_{31}+\frac{\partial J}{\partial o_{12}}w_{32}$

$\frac{\partial J}{\partial z_{21}}=\frac{\partial J}{\partial o_{21}}w_{11}+\frac{\partial J}{\partial o_{22}}w_{12}$ ， $\frac{\partial J}{\partial z_{22}}=\frac{\partial J}{\partial o_{21}}w_{21}+\frac{\partial J}{\partial o_{22}}w_{22}$ ,

$\frac{\partial J}{\partial z_{23}}=\frac{\partial J}{\partial o_{21}}w_{31}+\frac{\partial J}{\partial o_{22}}w_{32}$

写成矩阵：

$\left[\begin{matrix}\frac{\partial J}{\partial z_{11}}&\frac{\partial J}{\partial z_{12}}&\frac{\partial J}{\partial z_{13}}\\\frac{\partial J}{\partial z_{21}}&\frac{\partial J}{\partial z_{22}}&\frac{\partial J}{\partial z_{23}}\end{matrix}\right]=\left[\begin{matrix}\frac{\partial J}{\partial o_{11}}&\frac{\partial J}{\partial o_{12}}\\\frac{\partial J}{\partial o_{21}}&\frac{\partial J}{\partial o_{22}}\end{matrix}\right]\left[\begin{matrix}w_{11}&w_{21}&w_{31}\\w_{12}&w_{22}&w_{32}\end{matrix}\right]$

所以：

$\frac{\partial J}{\partial Z_L}=\frac{\partial J}{\partial OUT}W_{L+1}^T$

( $W_{L+1}=\left[\begin{matrix}w_{11}&w_{12}\\w_{21}&w_{22}\\w_{31}&w_{32}\end{matrix}\right]$ )

这样，在式子 $OUT=Z_Lw_{L+1}+\tilde b_{L+1}$ 中：

$\frac{\partial J}{\partial W_{L+1}}=Z_L^T\frac {\partial J}{\partial OUT}$

$\frac{\partial J}{\partial Z_L}=\frac{\partial J}{\partial OUT}W_{L+1}^T$

$W_{L+1}$ （可以用梯度下降更新）和 $Z_L$ 的梯度都有了。

但是 $Z_L$ 和 $h_L$ 之间有个非线性变换 $f_L$ ，如果可以通过非线性变换 $f_L$ 求出 $\frac{\partial J}{\partial h_{L}}$ ，这样就可以在反向传播的时候使用 $h_L$ 的梯度 $\frac{\partial J}{\partial h_{L}}$ 求解权重矩阵 $w$ 的梯度 $\frac{\partial J}{\partial W_{L}}$ ：

$\frac{\partial J}{\partial W_{L}}=Z_{L-1}^T\frac {\partial J}{\partial h_L}$

下面求损失函数对 $h_L$ 的梯度 $\frac{\partial J}{\partial h_{L}}$

非线性变换 $f_L$ 常见的函数有3种：

1. 非线性变换 $f_L$ 为Sigmoid函数

若 $f_L$ 为Sigmoid函数，则：
$Z_L=Sigmoid(h_L)=\frac {1}{1+e^{-h_L}}$

$\frac {\partial J}{\partial h_L}=\frac {\partial J}{\partial Z_L}\frac{dZ_L}{dh_L}=\frac {\partial J}{\partial Z_L}\frac{e^{-hL}}{(1+e^{-h_L})^2}=\frac {\partial J}{\partial Z_L}\frac{1}{(1+e^{-h_L})^2}\frac{e^{-hL}}{(1+e^{-h_L})^2}=\frac {\partial J}{\partial Z_L}Z_L(1-Z_L)$

即 $\frac{\partial J}{\partial h_{L}}$ 可以用 $Z_L$ 来表示：

$\frac {\partial J}{\partial h_L}=\frac {\partial J}{\partial Z_L}Z_L(1-Z_L)$

由于 $J$ 是标量，上式表示对矩阵中所有元素都进行这样的计算，所以得到的 $\frac{\partial J}{\partial h_{L}}$ 维度同

2. 非线性变换 $f_L$ 为tanh(双曲正切)函数

若 $f_L$ 为tanh函数，则：

$Z_L=tanh(h_L)=\frac{e^{h_L}-e^{-h_L}}{e^{h_L}+e^{-h_L}}$

$\frac {\partial J}{\partial h_L}=\frac {\partial J}{\partial Z_L}\frac{dZ_L}{dh_L}=\frac {\partial J}{\partial Z_L}\frac{4}{(e^{h_L}+e^{-h_L})^2}=\frac {\partial J}{\partial Z_L}[1-(\frac{e^{h_L}-e^{-h_L}}{e^{h_L}+e^{-h_L}})^2]\\=\frac {\partial J}{\partial Z_L}(1-Z_L^2)$

即：

$\frac {\partial J}{\partial h_L}=\frac {\partial J}{\partial Z_L}(1-Z_L^2)$

写成这个形式的好处是，只要储存 $Z_L$ 即可，不需要储存 $h_L$ 。

3. 非线性变换 $f_L$ 为ReLU函数(Rectified Linear Unit,线性整流函数)

若 $f_L$ 为ReLU函数，则：

$Z_L=ReLU(h_L)=\begin{cases}0，h_L\leq 0\\h_L，h_L>0\end{cases}$

$\frac {\partial J}{\partial h_L}=\frac {\partial J}{\partial Z_L}\frac{dZ_L}{dh_L}=\begin{cases}0，h_L\leq0\\\frac{\partial J}{\partial Z_L}，h_L>0\end{cases}$