反向传播--雅可比矩阵

lalahappy

已于 2024-03-28 18:11:01 修改

阅读量1.5k

点赞数 31

文章标签：矩阵线性代数人工智能

于 2024-03-27 16:47:24 首次发布

本文链接：https://blog.youkuaiyun.com/qq_42563807/article/details/137080909

版权

深度学习中，我们需要沿着梯度下降的方向，更新参数。
偏导数是表明了自变量对因变量产生了多大的影响。最理想的状态是偏导数等于0，没有对误差最终的误差产生影响。 ---- 一阶导与极值的关系
在损失函数所代表的“几何图像”上，用损失函数的梯度能够找到损失函数变化最快的方向。
如果正方向是增加的话，那么反方向就是最快减小的方向。
偏导的定义，是基于某点函数有增量；
在这里插入图片描述

第一层是输入层，包含两个神经元 $i_{1}$ ， $i_{2}$ 和截距项 $b_{1}$ ;
第二层是隐含层，包含两个神经元 $h_{1}$ ， $h_{2}$ 和截距项 $b_{2}$ ;
第三层是输出 $o_{1}$ ， $o_{2}$ ;
每条线上标的 $w_{i}$ 是层与层之间连接的权重，激活函数采用sigmoid函数；

由公式wx+b可知：
$\mathbf{w} \times \mathbf{x} = \begin{bmatrix} w_{1} & w_{2} \\ w_{3}& w_{4} \end{bmatrix} \begin{bmatrix} i_{1} \\ i_{2} \end{bmatrix}=\begin{bmatrix} w_{1} i_{1}+w_{2} i_{2} \\ w_{3} i_{1}+w_{4} i_{2} \end{bmatrix}$

前向传播：

输入层 $\rightarrow$ 隐藏层：
$net_{h_{1}} = w_{1} i_{1}+w_{2} i_{2}+b_{1}$
$net_{h_{1}} = 0.15*0.05+0.2*0.1+0.35=0.3775$

$net_{h_{2}} = w_{3} i_{1}+w_{4} i_{2}+b_{1}$
$net_{h_{2}} = 0.25*0.05+0.3*0.1+0.35$
激活函数：
$out_{h_{1}} = sigmoid(net_{h_{1}})=0.593269992$
$out_{h_{2}} = sigmoid(net_{h_{2}})=0.596884378$
隐藏层 $\rightarrow$ 输出层：
$net_{o_{1}} = w_{5}out_{h_{1}}+w_{6}out_{h_{2}}+b_{2}$

$net_{o_{2}} = w_{7}out_{h_{1}}+w_{8}out_{h_{2}}+b_{2}$
激活函数：
$out_{o_{1}} = sigmoid(net_{o_{1}})=0.75136507$
$out_{o_{2}} = sigmoid(net_{o_{2}})=0.772928465$