Day10 误差反向传播法必需的链式法则

在神经网络的训练过程中,误差反向传播法是一种非常重要的算法。它通过计算损失函数对每个参数的梯度,从而更新参数以最小化损失函数。而在这个过程中,链式法则起到了至关重要的作用。本Day将深入探讨神经网络和复合函数的关系、单变量与多变量函数的链式法则。

神经网络和复合函数

  • 神经网络本质上是一个复杂的复合函数。每一层神经网络都可以看作是一个函数,整个网络则是由这些函数复合而成的。例如,一个简单的三层神经网络可以表示为:
    y=f3(f2(f1(x))) y = f_3(f_2(f_1(x))) y=f3(f2(f1(x)))

    • 其中,f1f_1f1f2f_2f2f3f_3f3 分别代表神经网络的第一层、第二层和第三层的函数。这种复合函数的结构使得神经网络能够学习并表示复杂的非线性关系。
  • 在神经网络中,激活函数是构成复合函数的关键部分。例如,常用的Sigmoid激活函数可以表示为:
    σ(x)=11+e−x \sigma(x) = \frac{1}{1 + e^{-x}} σ(x)=1+ex1

    • 当我们将这个激活函数应用到神经网络的某一层时,假设该层的输入是线性组合Wx+bWx + bWx+b,那么该层的输出就是:
      y=σ(Wx+b) y = \sigma(Wx + b) y=σ(Wx+b)

      • 这里,yyy是关于xxx的一个复合函数,它首先通过线性变换Wx+bWx + bWx+b,然后应用Sigmoid函数。

单变量函数的链式法则

  • 链式法则是微积分中用于计算复合函数导数的基本法则。对于单变量函数,链式法则可以表示为:
    dydx=dydu⋅dudx \frac{dy}{dx} = \frac{dy}{du} \cdot \frac{du}{dx} dxdy=dudydxdu

    • 其中,y=f(u)y = f(u)y=f(u)u=g(x)u = g(x)u=g(x)。这意味着,要计算 yyy 关于 xxx 的导数,我们需要先计算 yyy 关于 uuu 的导数,然后乘以 uuu 关于 xxx 的导数。

    在这里插入图片描述

示例

假设有一个复合函数 y=(x2+1)3y = (x^2 + 1)^3y=(x2+1)3,我们可以将其分解为 u=x2+1u =

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值