深度学习之softmax回归

一、softmax回归简介

Softmax 回归是一个多分类问题的线性模型，通过将每个类别的线性得分转化为概率，进而进行分类。它通过优化交叉熵损失函数来训练模型，并且在训练后通过预测类别的概率来进行推断。可以理解为在线性回归模型的基础上进行改进以处理分类问题。

原理：Softmax 回归的核心思想是将每个类别的线性输出转换成一个概率分布。它基于每个类别的预测得分（通常是通过线性模型得到的）计算出一个类别属于某个类的概率，并且所有类别的概率加和为 1。

Softmax 回归的损失函数通常使用交叉熵损失，它量化了模型输出的概率分布与真实标签之间的差异。

简单举例来说：

假设有一根据图像进行猫狗兔的分类问题，则分类的集合为["猫","狗","兔"]。

在训练时：如果某一张图片对应的标签是猫，则进行训练时，这张图片对应的y应该为[1,0,0],类似图片标签为狗时，训练时对应的y应该为[0,1,0]。

例如：对于一张兔子的图片，对应的y为[0,0,1]，将它输入线性层后，线形层的输出也为一个三维的向量，代表图片为对应类别的概率，例如为[0.1,0.2,0.9]，但是线形层的输出值总和不一定为1，且有可能含有负数，因此我们需要将这个向量进行处理。

使用softmax函数，进行处理，使其综合为1且都为非负。

其中，

上述例子中，预测值