李沐《动手学深度学习》 | Softmax回归 - 分类问题

从回归到多类分类

回归：估计一个连续值

• 单连续数值输出
• 输出是一个自然区别R
• 损失函数：跟真实值的区别作为损失

分类：预测一个离散类别

• 通常多个输出
• 输出i是预测第i类的置信度

在深度学习中，置信度通常指模型对其预测结果的确信程度

1.对类别进行编码：独热编码

说明

one-hot 独热编码用于将离散的分类标签转换为二进制向量。独热编码是一个向量，它的分量数目=类别，类别对应的分量设置为1，其他所有分量设置为0。

• 离散的分类：类别之间相互独立，不存在谁比谁大、谁比谁先、谁比谁后的关系。
• 二进制向量：每一个分量都是二进制的，只有0、1两种取值。

目的：将独立的标签表示为相互独立的数字，并且数字之间的距离也相等

2.使用均方损失训练

3.选取使得置信度$o_i$最大的i作为预测结果

$\hat{y}={\mathrm{argmax}}_i{o}_i$

角度1：对分类问题来说，并不关系预测与实际值，关心对正确类别的置信度(可能性)特别大

需要更置信(确信)的识别正确类：

正确类y的置信度$o_y$要远远大于非正确类的置信度$o_i$:$o_y-o_i\ge \Delta (y,i)$，其中$\Delta$表示某个阈值 => 这里我们并不关系$o_y$的具体值，而是关心$o_y$和$o_i$的差距

角度2：我们更希望输出类别的匹配概率(非负，和为1) ，也就是输入一个样本，预测每个输出类型的概率，然后使用预测概率最高的类别作为输出：采用softmax函数。

$\hat{y}=softmax(o)$，具体展开${\hat{y}}_i=\frac{exp(o_i)}{{\sum }_{k}exp(o_k)}$。其中，指数是不管什么值都可以让其变成非负，这个式子可以保证${\hat{y}}_i$对所有的i求和值为1。

---

:::tips
softmax运算将数值映射为一个概率。

:::

交叉熵损失函数

交叉熵常用来衡量两个概率的区别$H(p,q)={\sum }_i-p_{i}log(q_i)$

将其作为损失KaTeX parse error: \tag works only in display equations

$y$通常是一个one-hot编码向量，真实类别为1，其余为，其中$y_i$是真实标签的第$i$个类别的概率；${\hat{y}}_i$是模型预测的第$i$个类型的概率。

除了$i=k$ 时$y_k=1$，其他$y_i=0$，所以求和式中只有$i=k$的项不为零：$l(y,\hat{y})=-{\sum }_i{y}_{i}log{\hat{y}}_i=-(y_{k}log{\hat{y}}_k)+{\sum }_{i\ne k}{y}_{i}log{\hat{y}}_i=-log{\hat{y}}_k$

所以(1)的${\hat{y}}_y$ 表示该样本的真实类别$y$ 对应的预测概率${\hat{y}}_k$。

为了更明确，交叉熵损失函数可以写成：$l(y,\hat{y})=-log{\hat{y}}_{trueclass}$

交叉熵来衡量概率区别可以发现：我们不关心非正确类的预测值，只关心正确类的预测值。

梯度下降

目标是求损失的梯度，接着朝减少损失的方向更新参数。

损失函数：$l(y,\hat y )=-\sum_i y_ilog\hat y_i $

带入softmax公式：$=-{\sum }_i{y}_{i}log(\frac{e^{o_i}}{{\sum }_{k=1}^q{e}^{o_k}})$

利用对数性质$log(\frac{a}{b})=log(a)-log(b)$：$=-\sum_i y_i [log(e^{o_i}) - log(\sum_{k=1}^q e^{o_k})] $

简化$log(e^x)=x$:$={\sum }_i{y}_{i}log({\sum }_{k=1}^q{e}^{o_{}}$