softmax函数详解及误差反向传播的梯度求导

最新推荐文章于 2023-05-22 18:16:00 发布

原创

最新推荐文章于 2023-05-22 18:16:00 发布 · 5.3k 阅读

11 ·

CC 4.0 BY-SA版权

本文深入解析softmax函数，包括定义、梯度求导和反向传播过程。详细介绍了在反向传播中softmax函数的梯度计算，并讨论了其在多分类问题中的收敛性质和误差传播特性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

摘要

本文给出 softmax 函数的定义, 并求解其在反向传播中的梯度

正文

1. 定义

softmax函数常用于多分类问题的输出层.
定义如下:
$s_{i} = \frac{e^{x_{i}}}{ \sum_{t = 1}^{k}e^{x_{t}}} \\ \quad \\ \sum_{t = 1}^{k}e^{x_{t}} = e^{x_{1}} + e^{x_{2}} +e^{x_{3}} + \cdots +e^{x_{k}}\\ \quad \\ i = 1, 2, 3, \cdots, k$

编程实现softmax函数计算的时候, 因为存在指数运算 $e^{x_i}$ , 数值有可能非常大, 导致大数溢出.
一般在分式的分子和分母都乘以一个常数C, 变换成:

$s_{i} = \frac{Ce^{x_{i}}}{ C\sum_{t = 1}^{k}e^{x_{t}}} = \frac{e^{x_{i} + logC }}{ \sum_{t = 1}^{k}e^{x_{t} + logC}} = \frac{e^{x_{i} - m }}{ \sum_{t = 1}^{k}e^{x_{t} - m}} \\ \quad \\ m = - logC = max(x_{i})$

C的值可自由选择, 不会影响计算结果. 这里 m 取 $x_i$ 的最大值, 将数据集的最大值偏移至0.

2. 梯度求导

考虑一个 softmax 变换:
$(x_1, x_2, x_3, \cdots, x_k)\\ \quad\\ s = softmax(x)\\$
求 s₁ 对 x₁ 的导数:
$s_{1} = \frac{e^{x_{1}}}{ \sum_{t = 1}^{k}e^{x_{t}}} = \frac{e^{x_{1}}}{ sum} \\ \quad \\ sum = \sum_{t = 1}^{k}e^{x_{t}} = e^{x_{1}} + \sum_{t = 2}^{k}e^{x_{t}}\\ \quad \\ \frac{\partial sum}{\partial x_{1}} = \frac{\partial \sum_{t = 1}^{k}e^{x_{t}}}{\partial x_{1}} = e^{x_{1}}\\ \quad \\ \frac{\partial s_{1}}{\partial x_{1}} =\frac{e^{x_{1}} \cdot sum -e^{x_{1}}\cdot \frac{\partial sum}{\partial x_{1}}}{sum^{2}}\\ \quad\\ =\frac{e^{x_{1}} \cdot sum -e^{x_{1}} \cdot e^{x_{1}}}{sum^{2}}\\ \quad\\ = s_{1} - s_{1}^{2} \\$