本文介绍了softmax回归在多类分类中的应用，它通过softmax运算给出每个类别的预测概率，并利用交叉熵损失函数来衡量预测与真实标签的差异。同时，讨论了不同的损失函数，如L2Loss、L1Loss和Huber's Robust Loss，分析了它们的特点和适用场景。
一、Softmax回归
1、回归和分类问题
回归是估计一个连续值
分类是预测一个离散类别（分类从回归的单输出变成了多输出，输出的个数就是类别的个数）
2、ont-hot编码格式
使用均方损失训练
使用最大值标号 作为预测
3、softmax的作用：
输出是一个概率（非负和为1）
概率y和y^的区别作出损失
4、用交叉熵常用来衡量两个概率的区别
假设p,q是一对离散概率，假设有n个元素，对每个元素i进行操作
将交叉熵作为损失时候
y是ont-hot编码格式，其余为0，只有真实预测的为1，则最后结果为对真实预测的结果求log并求反。
5、softmax回归总结
softmax回归是一个多类分类模型
使用softmax操作子得到每个类的预测置信度
使用交叉熵来衡量预测和标号的区别
二、损失函数
1、L2 Loss（均方损失）
2、L1 Loss（绝对值损失函数）
缺点：在零点处有一个-1到+1的震荡，在模型训练的末期变化不是很稳定
3、Huber's Robust Loss
预测值和真实值大于1时候，用绝对值损失函数，反之用均方损失函数
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
