softmax层（无loss）是什么样的？

qq924178473

于 2016-09-22 16:33:12 发布

阅读量4.7k

点赞数

分类专栏：深度学习-实践文章标签： cnn softmax

本文链接：https://blog.youkuaiyun.com/h_jlwg6688/article/details/52624396

版权

softmax_layer通常连接全连接层和loss层。本文介绍了softmax层的起源，并提供了一个链接，深入解释了其在神经网络中的作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

名称：softmax_layer

连接：softmax层一般连接的是全连接层和loss层

这里有softmax层的来历解释，我感觉解释的很好：http://zhidao.baidu.com/link?url=brlk4rKSEl3AVbpu5cL8S9FZOeFF1nVES1lydYSa84ctjpSDU5dXZDo-1llgcnwubScZ2jaq194Mr8g52wk7cGZR8J747yxOAB9dM35LY-u

先理解max. 对一个三类问题，某样本经过NN处理后，最后一层输出值为[24,3,0.1]的话，那么经过max之后的结果为[1,0,0]。对不？
　　（至于为啥要max，输出结果本来挺奇怪 经过max以后就是categorical 的了，那么样本的类标就可以和他的预测值一起合体 直观地计算cost function。）
我们最需要的其实是max，但是max有个缺点就是不可导，没法用在bp里，于是有人就想出了softmax。思路就是指数级扩大最后一层的输出，每个值都会增大，然而最大的那个值相比其他值扩大的更多&#