softmax+交叉熵

原创

已于 2022-02-24 09:30:30 修改 · 2.9k 阅读

14 ·

CC 4.0 BY-SA版权

文章标签：

#分类 #机器学习 #深度学习

于 2022-02-23 23:31:17 首次发布

本文详细介绍了softmax函数及其与sigmoid的区别，强调在互斥分类问题中使用softmax。接着，阐述了交叉熵的概念，包括信息熵、KL散度和交叉熵损失函数，并指出在模型优化中交叉熵的重要性。最后，探讨了softmax与交叉熵损失函数的求导过程，为理解深度学习中的分类问题提供了理论基础。

1、softmax函数

softmax函数的定义为：
在这里插入图片描述
softmax函数的特点：
● 函数值在[0,1]之间；
● 所有的softmax(xi)相加的总和是1
面对一个分类问题，能将输出的yi转换成[0,1]的概率，选择最大的概率yi作为分类的结果。

sigmoid函数定义为：

sigmoid函数将每个yi映射到[0,1]之间，但每个yi之间是相互独立的，∑yi与1没有关系，可以用作二分类；而softmax函数的本质是将一个k维数据[a1,a2,a3,…,ak]映射成另外一个K维向量[b1,b2,b3,…,bk]，每个值之间是相互存在关系的，∑ai=∑bi=1，可以用于多分类问题，选取权重最大的一维。

区分sigmoid和softmax使用的场景:
1、有四个类别的音乐，分别为：古典音乐、乡村音乐、摇滚乐和爵士乐，假设每个训练样本只会被打上一个标签（即：一首歌只能属于这四种音乐类型的其中一种），此时你应该使用类别数 k = 4 的softmax回归。
2、有四个类别如下：人声音乐、舞曲、影视原声、流行歌曲，那么这些类别之间并不是互斥的。例如：一首歌曲可以来源于影视原声，同时也包含人声。这种情况下，使用4个二分类的 logistic 回归分类器更为合适。这样，对于每个新的音乐作品，我们的算法可以分别判断它是否属于各个类别。

计算机视觉领域:
1、假设这三个