本文详细解析了Sigmoid函数的定义及其求导过程。通过分解函数为多个步骤，并利用链式法则，推导出了Sigmoid函数的导数形式，即σ(x)⋅(1−σ(x))。
Sigmoid 函数的公式如下：
σ(x)=11+e−x \sigma(x) = \frac{1}{1 + e^{-x}} σ(x)=1+e−x1
求导之前，先看一下 xxx 是如何一步一步变化到 σ(x)\sigma(x)σ(x)的：
σ:x→−x→e−x→1+e−x→(1+e−x)−1\sigma : x\rightarrow-x \rightarrow e^{-x} \rightarrow 1 + e^{-x} \rightarrow (1+e^{-x})^{-1}σ:x→−x→e−x→1+e−x→(1+e−x)−1
假设有如下四个函数：
f:x→−xf : x\rightarrow -xf:x→−x
g:f→efg : f\rightarrow e^{f}g:f→ef
h:g→1+gh : g\rightarrow 1 + gh:g→1+g
σ:h→h−1\sigma: h\rightarrow h^{-1}σ:h→h−1
那么有：
σ(x)=h∘g∘f(x)
\sigma(x) = h \circ g \circ f(x)
σ(x)=h∘g∘f(x)
根据链式求导法则：
∂σ∂x=∂σ∂h∂h∂g∂g∂f∂f∂x
\frac{\partial{\sigma}}{\partial{x}} = \frac{\partial{\sigma}}{\partial{h}}\frac{\partial{h}}{\partial{g}}\frac{\partial{g}}{\partial{f}}\frac{\partial{f}}{\partial{x}}
∂x∂σ=∂h∂σ∂g∂h∂f∂g∂x∂f
其中
∂σ∂h=−h−2
\frac{\partial{\sigma}}{\partial{h}} = -h^{-2}
∂h∂σ=−h−2
∂h∂g=1
\frac{\partial{h}}{\partial{g}} = 1
∂g∂h=1
∂g∂f=ef
\frac{\partial{g}}{\partial{f}} = e^{f}
∂f∂g=ef
∂f∂x=−1
\frac{\partial{f}}{\partial{x}} = -1
∂x∂f=−1
所以：
∂σ∂x=−h−2⋅1⋅ef⋅(−1)
\frac{\partial{\sigma}}{\partial{x}} =-h^{-2}\cdot1\cdot e^{f}\cdot(-1)
∂x∂σ=−h−2⋅1⋅ef⋅(−1)
其中：
h=1+e−xh = 1+e^{-x}h=1+e−x
f=−xf=-xf=−x
所以：
即：
∂σ∂x=σ(x)⋅(1−σ(x))
\frac{\partial{\sigma}}{\partial{x}}=\sigma{(x)}\cdot(1-\sigma{(x)})
∂x∂σ=σ(x)⋅(1−σ(x))
扫一扫
1168
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
