softmax实际上是一个分类问题
会归与分类的区别:
回归估计一个连续值:单连续数值输出,有一个自然区间,跟真实值的区别作为损失
分类预测一个离散类别:通常多个输出,输出的第i个元素是预测为第i类的置信度
从回归到多类分类:独热编码(one-hot encoding)
均方损失:
无校验比例:
校验比例:
softmax函数能够将未规范化的预测变换为非负数并且总和为1,同时让模型保持 可导的性质。 为了完成这一目标,我们首先对每个未规范化的预测求幂,这样可以确保输出非负。 为了确保最终输出的概率值总和为1,我们再让每个求幂后的结果除以它们的总和。
exp(o)是要做指数,这样可以保证非负。 损失:
Softmax和交叉熵损失
总结:
Softmax回归是一个多类分类模型
使用Softmax操作子得到每个类的预测置信度
使用交叉熵来衡量预测和标号的区别