图像识别（九）| 彻底搞懂SoftMax分类的底层逻辑

董董灿是个攻城狮

已于 2023-05-02 16:23:34 修改

阅读量4.5k

点赞数 9

分类专栏：图像识别 and Resnet 网络拆解文章标签：分类机器学习深度学习

于 2022-08-17 19:02:30 首次发布

本文链接：https://blog.youkuaiyun.com/dongtuoc/article/details/126392415

版权

图像识别 and Resnet 网络拆解专栏收录该内容

30 篇文章

订阅专栏

大家好啊，我是董董灿。

很多同学在做深度学习时，都会遇到难以理解的算法，SoftMax肯定是其中一个。初学者大都对它一知半解，只知道SoftMax可以用来做分类，输出属于某个类别的概率。

但是，为什么要用SoftMax呢？这个算法又是如何将神经网络推理的数值，转换为一个类别的分类的呢？

应用场景

假设要使用神经网络做图片分类。

现在有3个类别：猫，狗，人。给你下面一张图片，神经网络需要在这3个类别中选出一个。

▲猫咪

上图人眼一看就知道是猫咪，但是神经网络需要通过计算才知道。

好，我们使用Resnet50这一分类网络进行推理运算。算到最后面的全连接层时，全连接输出了3个数值，分别为2，1，0.1。

看过前面文章的同学可能知道，全连接输出的数值，代表了这一分类的得分。关于全连接可以翻看图像识别（八）| 还对全连接层迷迷糊糊？背会一首诗就行了。

现在我们假设这三个分类的得分分别为：

分类	得分
猫	2
狗	1
人	0.1

猫得了2分，狗得了1分，人得了0.1分。单看这个结果，我们大概知道，因为猫的得分最高，那最终神经网络会认为这张图片是一只猫。

错了！

错在哪？至少两点。

| 第一，神经网络最终选择某一分类，依据的不是得分，而是概率

也就是说，最终神经网络会选择一个概率最高的分类作为它识别的结果。为什么要把得分转为概率呢？因为多分类模型中，输出值为概率更利于反向推导和模型的迭代，概率之间更好的计算距离，而数值之间的计算的距离是无含义的。

所以，我们需要一种方法，将上面的得分转换为概率。

| 第二，得分是神经网络经过了几十层卷积运算计算出来的

例子中猫的得分是2，狗的得分是1，人的得分是0.1，我们可以比较肯定的说，因为猫的得分最高，而且比狗和人都高很多，肯定就是猫。

但实际中，有很大的可能算出的猫的得分是2.1，狗的得分是1.9，人的得分是0.1。这个时候，我们可能就没有像刚才那么肯定了。

因为猫的得分和狗的得分相差很少，而且两者都很高！

这也是为什么，很多神经网络最终都会以TOP1 和 TOP5的识别准确度来衡量神经网络的精度。

由于上述两个原因的存在，人们想到了SoftMax算法。而这个算法，也几乎完美地解决了这两个问题。

为什么叫SoftMax以及它的实现原理

不知你有没有想过，为什么这个算法叫SoftMax呢？

Soft 是软的意思，与之对应肯定有 HardMax。

而 HardMax，可以理解为我们平时认知的Max。比如给你两个数（3, 4), 那么这两个数的 HardMax(3,4) 结果就是4。

这个逻辑，小学生学会了10以内的加减法都知道。

但正如上面所说，SoftMax不一样，它是要处理多个类别分类的问题。

并且，需要把每个分类的得分值换算成概率，同时解决两个分类得分值接近的问题。先从公式上看，SoftMmax是怎么做到的。

公式中，每个 z 就对应了多个分类的得分值。SoftMax对得分值进行了如下处理：

以e为底数进行了指数运算，算出每个分类的 eZi，作为公式的分子
分母为各分类得分指数运算的加和。
根据公式很自然可以想到，各个分类的SoftMax值加在一起是1，也就是100%。所以，每个分类的SoftMax的值，就是将得分转化为了概率，所有分类的概率加在一起是100%。

这个公式很自然的就解决了从得分映射到概率的问题。

那，它又是怎么解决两个得分相近的问题的呢？

其实也很简单，重点在选择的指数操作上。我们知道指数的曲线是下面的样子。

▲指数曲线，恒大于零，并且在正半轴，离零越远，增长越快（指数增长）

指数增长的特性就是，横轴变化很小的量，纵轴就会有很大的变化。

所以，从1.9变化到2.1，经过指数的运算，两者的差距立马被的拉大了。从而，我们可以更加明确的知道，图片的分类应该属于最大的那个。

下面是将猫、狗、人三个分类经过SoftMax计算之后得到的概率。

分类	得分	softmax
猫	2	70%
狗	1	20%
人	0.1	10%

可以看到，分类是猫的概率遥遥领先。所以，神经网络在经过softmax层之后，会以70%的概率，认为这张图片是一张猫。

这就是SoftMax的底层原理。

指数让得分大的分类最终的概率更大，得分小的分类最终的概率更小，而得分为负数的分类，几乎可以忽略。

One More Thing

SoftMax 其实也是一种激活函数，它广泛的应用于多分类任务中。在二分类任务重，其实有个函数也被广泛的使用，它就是 Sigmoid，可以查看图像识别（六）| 激活函数这一章了解Sigmoid函数。

比如，有个朋友告诉我，在一些互联网的广告或者商品推荐（比如某宝的猜你喜欢）中，曾经广泛的使用Sigmod函数来预测点击的可能性，如果Sigmoid函数的输出值越大，那么说明这个内容被用户点击的可能性就越大。

想想吧，我们逛淘宝的每次点击，背后都有一个函数在分析你的行为，你还会点击么？

往期文章推荐：

图像识别（一）| 从像素说起_董董灿是个攻城狮的博客-优快云博客

图像识别（二）| 图像的色彩空间_董董灿是个攻城狮的博客-优快云博客

图像识别（三）| 初识卷积_董董灿是个攻城狮的博客-优快云博客

图像识别（四）| 卷积的核心，特征提取_董董灿是个攻城狮的博客-优快云博客_卷积图像特征提取

图像识别（五）| 春天花开却不识？打开百度识图，残差和卷积带你识遍路边野花_董董灿是个攻城狮的博客-优快云博客

图像识别（六）| 激活函数_董董灿是个攻城狮的博客-优快云博客

图像识别（七）| 池化层是什么？有什么作用？_董董灿是个攻城狮的博客-优快云博客

图像识别（八）| 还对全连接层迷迷糊糊？背会一首诗就行了_董董灿是个攻城狮的博客-优快云博客

码字不易，如果你喜欢，请关注董董灿是个攻城狮的博客_优快云博客或点赞。
近期开通个人微信公众号：图像识别（九）| 彻底搞懂SoftMax分类的底层逻辑分享人工智能科技文章，欢迎关注。

v v v v v v

**本文为作者原创，请勿转载，转载请联系作者。**
**点击下方卡片，关注我的公众号，有最新的文章和项目动态。**

v v v v v v