softmax函数是多元分类的常用方法，它通过指数和归一化将输入转换为概率分布。在不加隐藏层的情况下，softmax构成线性多元分类器，即softmax回归。在深度神经网络中，softmax用作输出层的激活函数，能创建复杂的分类边界。损失函数通常选择交叉熵损失，通过最大化真实类别对应的概率来最小化损失。反向传播时，输入梯度为预测概率与实际标签的差值。
简单来讲，对于一个输入向量z[l]z^{[l]}z[l]，在softmax函数中会进行如下计算：
t[l]=exp(z[l])a[l]=t[l]∑i=1n[l]ti[l]
t^{[l]}=\exp(z^{[l]}) \\
a^{[l]}=\frac{t^{[l]}}{\sum_{i=1}^{n^{[l]}}t^{[l]}_i}
t[l]=exp(z[l])a[l]=∑i=1n[l]ti[l]t[l]即把输入值作为指数，然后归一化，使输出向量所有元素之和为1，将元素的数值作为属于对应类别的概率，取最大值索引就是我们认为输入属于的类别。
如果不添加隐藏层，softmax函数构造的就是一个线性的多元分类边界：
这样不加隐藏层的模型也被称为softmax回归，是逻辑回归从二元到多元的推广。
若把softmax放在深度神经网络的输出层作为激活函数，就可以得到一个拥有复杂边界的多元分类器。
softmax的损失函数为
L(y^,y)=−∑i=1n[L]yilogy^i
\mathcal{L}(\hat{y},y)=-\sum_{i=1}^{n^{[L]}}y_i\log\hat{y}_i
L(y^,y)=−i=1∑n[L]yilogy^i即查看训练集的真实分类值，并令其对应的概率值尽可能的大。
而整个训练集的代价就是把所有样本的损失都加起来，即
J(⋯ )=1m∑i=1mL(y^(i),y(i))
J(\cdots)=\frac{1}{m}\sum_{i=1}^m\mathcal{L}(\hat{y}^{(i)},y^{(i)})
J(⋯)=m1i=1∑mL(y^(i),y(i))
而向后传播的输入Z[L]Z^{[L]}Z[L]则是
dZ[L]=Y^−Y
dZ^{[L]}=\hat{Y}-Y
dZ[L]=Y^−Y
扫一扫
614
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
