本文介绍了softmax回归在多类分类中的应用，对比了回归与分类的区别。从均方误差到校验比例，探讨了从回归转换到多类分类的不同方法。重点介绍了softmax函数和交叉熵损失在模型训练中的作用，强调了交叉熵作为衡量预测与真实标签差异的损失函数。此外，还提到了常见的损失函数如L2Loss、L1Loss和Huber's Robust Loss。
目录
softmax回归
虽然softmax的名字是回归，但是其实它是一个分类问题。
回归VS分类
- 回归估计一个连续值
- 分类预测一个离散类别
eg:
MNIST：手写数字识别（10类）
ImageNet：自然物体分类（1000类）
Kaggle上的分类问题：将人类的蛋白质显微镜图片分成28类、将恶意软件分成9个类别、将恶意的Wikipedia评论分成7类。
从回归到多类分类
回归
- 单连续数值输出
- 自然区间R
- 跟真实值的区别作为损失
分类
- 通常多个输出
- 输出i是预测为第i类的置信度
从回归到多类分类-均方误差
对类别进行一位有效编码
使用均方损失训练。
最大值最为预测
从回归到多类分类-无校验比例
对类别进行一位有效编码
最大值最为预测
需要更置信的识别正确类（大余量）
从回归到多类分类-校验比例
输出匹配概率（非负，和为1）
概率y和^y的区别作为损失。
softmax和交叉熵损失
交叉熵常用来衡量两个概率的区别
将它作为损失
其梯度是真实概率和预测概率的区别
总结
- softmax回归是一个多类分类模型
- 使用softmax操作子得到每个类的预测置信度
- 使用交叉熵来衡量预测和标号的区别
损失函数
L2 Loss
L1 Loss
Huber's Robust Loss
扫一扫
757
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
