常见函数的导数

最新推荐文章于 2024-10-01 17:36:43 发布

原创最新推荐文章于 2024-10-01 17:36:43 发布 · 1.8k 阅读

0 ·

CC 4.0 BY-SA版权

机器学习专栏收录该内容

8 篇文章

订阅专栏

本文详细解析了Softmax函数及其交叉熵损失函数的导数推导过程，同时介绍了Sigmoid函数及其导数的计算方法，适用于深度学习和神经网络的理解与应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.Softmax函数及Softmax交叉熵损失函数的导数

对于一组输入[1, 2, …，i ，…] 使用softmax公式可将其转化为概率分布的形式。Softmax公式：
$yi=ei∑jejy_i=\frac{e^i}{\sum_j{e^j}}$
其中i为一组输入中的第i个输入。则对应的softmax输出是 $y_i$ 。

对于分类问题来说，经常使用softmax交叉熵损失函数，形式如下：
$Loss=−∑itiln⁡yiLoss=-\sum_i{t_i\ln{y_i}}$
其中， $t_i$ 为真实值， $y_i$ 为预测值。当预测第i个时， $t_i=1$ ，其他为0，则损失为：
$Loss_i=-\ln{y_i}$
其中
$yi=ei∑jej=1−∑j̸=iej∑jej（分子中是j不等于i)y_i = \frac{e^i}{\sum_j{e^j}}=1-\frac{\sum_{j\not=i}{e^j}}{\sum_j{e^j}} （分子中是j不等于i)$
对 $Loss_i$ 求偏导则有：
$\begin{aligned} \frac{\partial{Loss_i}}{\partial{i}}&=-\frac{\partial{\ln{y_i}}}{\partial{i}} \\ &=\frac{\partial{(-\ln{\frac{e^i}{\sum_j{e^j}}})}}{\partial{i}} \\ &=-\frac{1}{\frac{e^i}{\sum_j{e^j}}}\cdot\frac{\partial{(\frac{e^i}{\sum_j{e^j}})}}{\partial{i}} \\ &=-\frac{\sum_j{e^j}}{e^i}\cdot\frac{\partial{(1-\frac{\sum_{j\not=i}{e^j}}{\sum_j{e^j}})}}{\partial{i}} \\ &=-\frac{\sum_j{e^j}}{e^i}\cdot(-\sum_{j\not=i}{e^j})\cdot\frac{\partial{(\frac{1}{\sum_j{e^j}})}}{\partial{i}} \\ &=\frac{\sum_j{e^j}\cdot\sum_{j\not=i}{e^j}}{e^i}\cdot\frac{-e^i}{(\sum_j{e^j})^2} \\ &=-\frac{\sum_{j\not=i}{e^j}}{\sum_j{e^j}} \\ &=-(1-\frac{e^i}{\sum_j{e^j}}) \\ &=-(1-y_i) \\ &=y_i-1 \end{aligned}$
即， $∂Lossi∂i=yi−1\frac{\partial{Loss_i}}{\partial{i}}=y_i - 1$

也可以直接对softmax求导得：
$\frac{\partial{\frac{e^j}{\sum_k{e^k}}}}{\partial{i}}= D_jS_i=\left\{\begin{matrix} S_i(1-S_j) & i=j\\ -S_jS_i & i \not=j \end{matrix}\right.$
其中， $D_j$ 对应 $∂ej∑kek\partial{\frac{e^j}{\sum_k{e^k}}}$ ， $S_i对应i$ 。i是上述的出入

2.sigmoid函数及其导数

sigmoid函数形式：
$\frac{1}{1+e^{-z}}$
则有： $1 - f (z) = f (- z)$
对f(z)求导有：
$\begin{aligned} f'(z) &= (\frac{1}{1+e^{-z}})' \\ &= \frac{e^{-z}}{(1+e^{-z})^{2}} \\ &= \frac{1+e^{-z}-1}{(1+e^{-z})^{2}} \\ &= \frac{1}{(1+e^{-z})}(1-\frac{1}{(1+e^{-z})}) \\ &= f(z)(1-f(z)) \\ \end{aligned}$