Softmax和Cross Entropy Loss在分类问题中的作用

最新推荐文章于 2025-07-02 16:44:16 发布

原创最新推荐文章于 2025-07-02 16:44:16 发布 · 577 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#分类 #机器学习 #人工智能

本文介绍了Softmax和CrossEntropyLoss在处理三分类神经网络中的作用。通过一位有效编码表示类别标签，使用Softmax函数将网络输出转换为概率分布，然后利用CrossEntropyLoss计算损失值，重点关注正确类别的预测概率。

在这里插入图片描述

本文以三分类神经网络为例，讲解Softmax和Cross Entropy Loss在分类问题中的作用。

首先，对类别标签进行一位有效编码：

$y=[y_{1},y_{2},y_{3}]^{T}$

$yi={1,if(i=y)0,otherwisey_{i}=\left\{\begin{matrix} 1 ,& if (i=y) & \\ 0, & otherwise & \end{matrix}\right.$

(假设对于猫、狗、马三分类问题，有一张猫的图片，它的标签为 $y = [1, 0, 0]$ ；有一张狗的图片，它的标签为 $y = [0, 1, 0]$ ；有一张马的图片，它的标签为 $y = [0, 0, 1]$ )

其次，对输出值 $O=[o_{1},o_{2},o_{3}]$ 进行Softmax运算，输出匹配概率（非负，和为1）：

$y^=softmax(o)\hat{y}=softmax(o)$

$y^i=exp(oi)∑k=1nexp(ok)\hat{y}_{i}=\frac{exp(o_{i})}{\sum_{k=1}^{n}exp(o_{k})}$

(本文为 $3$ 分类，所以上式中的 $n = 3$ ，将猫的图片输入网络，输出结果可能为 $y^=[0.6,0.15,0.25]\hat{y}=[0.6,0.15,0.25]$ ；将狗的图片输入网络，输出结果可能为 $y^=[0.15,0.6,0.25]\hat{y}=[0.15,0.6,0.25]$ ；将马的图片输入网络，输出结果可能为 $y^=[0.15,0.25,0.6]\hat{y}=[0.15,0.25,0.6]$ )

然后，对真实值 $y$ 和输出值 $y^\hat{y}$ 做Cross Entropy Loss（交叉熵损失）计算，将其作为损失值：

$l(y,y^)=−∑i=1nyilogy^i=−logy^yl(y,\hat{y})=-\sum_{i=1}^{n}y_{i}log\hat{y}_{i}=-log\hat{y}_{y}$

(由于真实值 $y$ 是一个一位有效编码的向量，即只在真实类别处的值为 $1$ ，其余类别处的值为 $0$ ，所以上述交叉熵损失计算可简化为：某个类别的损失值 $=$ 输出值 $y^\hat{y}$ 中该类别对应概率值的 $- l o g$ 值。即在分类问题中，不关心非正确类的预测值，只关心正确类的预测值)