Sigmoid 函数的求导过程

本文详细解析了Sigmoid函数的定义及其求导过程。通过分解函数为多个步骤,并利用链式法则,推导出了Sigmoid函数的导数形式,即σ(x)⋅(1−σ(x))。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Sigmoid 函数的公式如下:

σ(x)=11+e−x \sigma(x) = \frac{1}{1 + e^{-x}} σ(x)=1+ex1

求导之前,先看一下 xxx 是如何一步一步变化到 σ(x)\sigma(x)σ(x)的:

σ:x→−x→e−x→1+e−x→(1+e−x)−1\sigma : x\rightarrow-x \rightarrow e^{-x} \rightarrow 1 + e^{-x} \rightarrow (1+e^{-x})^{-1}σ:xxex1+ex(1+ex)1

假设有如下四个函数:
f:x→−xf : x\rightarrow -xf:xx
g:f→efg : f\rightarrow e^{f}g:fef
h:g→1+gh : g\rightarrow 1 + gh:g1+g
σ:h→h−1\sigma: h\rightarrow h^{-1}σ:hh1

那么有:
σ(x)=h∘g∘f(x) \sigma(x) = h \circ g \circ f(x) σ(x)=hgf(x)

根据链式求导法则:
∂σ∂x=∂σ∂h∂h∂g∂g∂f∂f∂x \frac{\partial{\sigma}}{\partial{x}} = \frac{\partial{\sigma}}{\partial{h}}\frac{\partial{h}}{\partial{g}}\frac{\partial{g}}{\partial{f}}\frac{\partial{f}}{\partial{x}} xσ=hσghfgxf

其中
∂σ∂h=−h−2 \frac{\partial{\sigma}}{\partial{h}} = -h^{-2} hσ=h2
∂h∂g=1 \frac{\partial{h}}{\partial{g}} = 1 gh=1
∂g∂f=ef \frac{\partial{g}}{\partial{f}} = e^{f} fg=ef
∂f∂x=−1 \frac{\partial{f}}{\partial{x}} = -1 xf=1

所以:
∂σ∂x=−h−2⋅1⋅ef⋅(−1) \frac{\partial{\sigma}}{\partial{x}} =-h^{-2}\cdot1\cdot e^{f}\cdot(-1) xσ=h21ef(1)
其中:
h=1+e−xh = 1+e^{-x}h=1+ex
f=−xf=-xf=x

所以:
在这里插入图片描述
即:
∂σ∂x=σ(x)⋅(1−σ(x)) \frac{\partial{\sigma}}{\partial{x}}=\sigma{(x)}\cdot(1-\sigma{(x)}) xσ=σ(x)(1σ(x))

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值