梯度下降_神经网络中的运用

最新推荐文章于 2025-06-01 18:12:23 发布

原创最新推荐文章于 2025-06-01 18:12:23 发布 · 719 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#梯度下降 #Gradient Descent #神经网络

深度学习专栏收录该内容

5 篇文章

订阅专栏

本文深入浅出地介绍了神经网络中常用的梯度下降算法，通过一个简单的网络实例，详细推导了权重更新的过程，并提供了Python代码实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

简单的数学推导,讲解神经网络中常用的梯度下降.

为了便于理解, 我们就用最简单的网络来讲解.比如下面的网络.

此网络只有简单的两层，３个输入 $x 1, x 2, x 3$ . １个输出 $y^\hat{y}$ ，激活函数 $f (h)$ 采用sigmoid函数．梯度下降的目标是求得最合适的权重 $w 1, w 2, w 3$ 使得预测输出 $y^\hat{y}$ 与真实值 $y$ 之间的误差 $E=12(y−y^)E = \frac{1}{2}(y - \hat{y})$ 最小, 这里的 $12\frac{1}{2}$ 是为了方便计算. 从下图直观的感受下, 就是沿着梯度下降的方向移动, 逐渐到达 $E$ 的最小值处.

上图箭头的方向就是梯度下降方向的更新步长 $Δw=−gradient\Delta w = -gradient$ ，下面来推导一下如何求得 $Δw\Delta w$ .
$∂E∂wi=∂∂wi12(y−y^)2=(y−y^)∂∂wi(y−y^)=−(y−y^)∂y^∂wi\begin{aligned}\frac{\partial E}{\partial w_{i}} &= \frac{\partial }{\partial w_{i}}\frac{1}{2}(y - \hat{y})^{2} \\&= (y - \hat{y})\frac{\partial }{\partial w_{i}}(y - \hat{y}) \\&= -(y - \hat{y})\frac{\partial \hat{y}}{\partial w_{i}}\end{aligned}$

其中 $y^=f(x)\hat{y} = f(x)$ 且 $\sum _{i}w_{i}x_{i}$ , 那我们进一步对上式推导:

$∂E∂wi=−(y−y^)∂y^∂wi=−(y−y^)f′(h)∂∂wi∑wixi\begin{aligned}\begin{aligned}\dfrac {\partial E}{\partial w_{i}}&=-\left( y-\widehat {y}\right) \dfrac {\partial \hat{y}}{\partial w_{i}}\\&= -\left( y-\widehat {y}\right) f'\left( h\right) \dfrac {\partial }{\partial w_{i}}\sum w_{i}x_{i}\end{aligned}\end{aligned}$

其中:
$∂∂ωi∑iwixi=∂∂ωi[w1,x1+w2x2+…+wixi+…wnxn]=xi\begin{aligned}\begin{aligned}\dfrac {\partial }{\partial \omega_{i}}\sum _{i}w_{i}x_{i}&=\dfrac {\partial }{\partial \omega _{i}}\left[ w_{1},x_{1}+w_{2}x_{2}+\ldots +w_{i}x_{i}+\ldots w_{n}x_{n}\right] \\ &=x_{i}\end{aligned}\end{aligned}$

到此未知我们就顺利的得到了误差 $E$ 关于 $w_{i}$ 的梯度:
$∂E∂ωi=−(y−y^)f′(h)xi\begin{aligned}\dfrac {\partial E}{\partial \omega _{i}}=-\left(y- \hat{y}\right) f'\left( h\right) x_{i}\end{aligned}$

沿着梯度下降的方向,以一定的学习速率 $η\eta$ 移动,来更行步长: $Δwi=η∂E∂ωi\begin{aligned}\Delta w_{i}=\eta\dfrac {\partial E}{\partial \omega _{i}}\end{aligned}$

为了方便表述,也便于求解,将步长更新 $Δwi\Delta w_{i}$ 改写为:
$Δwi=ηδxi\Delta w_{i}=\eta \delta x_{i}$

其中: $η\eta$ 为学习速率,值越大权重 $w$ 更新的速度也就越快. $δ\delta$ 为误差项 error term.
$δ=−(y−y^)f′(h)\begin{aligned}\delta =-\left(y- \hat{y}\right) f'\left( h\right) \end{aligned}$

有了权重 $w$ 的步长更新 $Δw\Delta w$ ,我们就可以得到进一步接近最优解的新权重了 $w+\Delta w$ .如此反复,经过一步步的迭代,权重 $w$ 将逐步收敛到最优解,就像上图2示意的那样,这就是梯度下降了.

根据上面的简单网络, 实列演示, 看具体怎么用梯度下降来更新权重 $w$ .

import numpy as np
#定义sigmoid函数
def sigmoid(x):
    return 1/(1+np.exp(-x))
#sigmoid函数求导
def sigmoid_prime(x):
    return sigmoid(x) * (1 - sigmoid(x))

learnrate = 0.5                       #学习率
x = np.array([1, 2, 3])               #定义输入.x1,x2,x3
y = np.array(0.5)                     #定义输出
w = np.array([0.5, -0.5, 0.3])        #初始化权重,也就是上文中的w1,w2,w3.
h = np.dot(x,w)                       #求得h的值
nn_output = sigmoid(h)                #求得f(h)的值
error = y-nn_output                   #求得误差
error_term = sigmoid_prime(h)*error   #求得误差项
del_w = learnrate*error_term*x        #权重w的改变del_w

print('网络的输出:')
print(nn_output)
print('误差Error:')
print(error)
print('权重w的改变:')
print(del_w)

网络的输出:
0.598687660112452
误差Error:
-0.098687660112452
权重w的改变del_w:
[-0.01185539 -0.02371077 -0.03556616]