05-Logistic Softmax详解

Logistic Regression

本章我们来看另一个简单且强大的解决线性回归二元分类问题的算法， 即逻辑回归。不要望文生义， 逻辑回归虽然带回归这个字眼， 但它其实处理的是分类任务，即逻辑回归是一种分类模型， 而非回归模型，只不过它本质上使用的是回归, 并且在预测类别的时候采用了回归的思想， 所以称为Logistic Regression。

Logistic Regression：

• 优点：模型简单、输出解释性好且模型输出的结果可解释为概率
• 缺点：仅适用于二分类问题， 对于复杂的非线性问题效果可能不佳。虽然可以用过OvO/OVR的方式拓展到多分类任务， 但它其实处理的仍然是二分类问题。
• 适用场景：适用于二分类或多分类任务， 需概率分布的场景， 如信用评分、疾病风险评估。

几率(odds)

若将p视为样本x作为正例的可能性， 则1-y是其反例的可能性， 两者的比值即为几率：
$$odds=\frac{p}{1-p}$$
几率反映了x作为正例的相对可能性。

对数几率函数（log odds function）

我们的假设函数（这里针对单个样本而言）$h(x)={\theta }^{T}x$的值域是R， 同时在这里概率和几率的值域分别为（0， 1）和（0， +inf）。很显然我们不能直接将假设函数产生的值当作概率， 所以我们需将概率或几率进行一个函数映射， 且这个新的函数的值域为R， 定义域为几率的值域。 很显然， 我们使用几率更容易一些， 因为几率的值域刚好与对数函数的定义域相同， 所以我们可以对几率取对数， 即对数几率（log odds， 亦称logit）。且对数几率的值域为R， 于是我们就得到了与假设函数相同值域的函数， 此时我们就可以将假设函数与对数几率进行对应
$$ln(\frac{p}{1-p})={\theta }^{T}x=z$$
于是我们就可以求解出概率P
$$p=\frac{1}{1+e^{-z}}$$
而这就是对数几率函数也被称为sigmoid函数， 该函数将线性模型的输出z映射为（0， 1）之间的概率值，然后参考threshold得到最终的分类结果。

由于 $e^{-z}$ 是指数函数，其值总是正的，所以 $e^{-z}$ 加上 1 后也总是大于 1 。因此， sigmoid 函数的分母总是大于 1 ，这意味着整个分数的值永远在 0 和 1 之间，但不会达到这两个端点。换句话说，无论 $z$ 的值是多少， $e^{-z}$ 都不可能为负数或零，因此 $p$ 不可能为 0 或1。

这里我们只是将线性回归的结果输入到sigmoid函数中来计算出样本为正例的概率， 所以我们并不将线性回归函数作为目标函数， 而是将sigmoid函数作为我们的目标函数。

Logistic Regression的本质

所以LR模型就是通过线性回归对目标的对数几率进行拟合。这就是LR的本质。

sigmoid函数

$$\begin{array}{cc}p=h_{\theta }\left(x\right)=g\left({\theta }^{T}x\right)=\frac{1}{1+e^{-{\theta }^{T}x}}g(z)=\frac{1}{1+e^{-z}}& \\ g^{\prime }(z)={\left(\frac{1}{1+e^{-z}}\right)}^{\prime }=\frac{e^{-z}}{{\left(1+e^{-z}\right)}^2}=\frac{1}{1+e^{-z}}\cdot \frac{e^{-z}}{1+e^{-z}}=\frac{1}{1+e^{-z}}\cdot \left(1-\frac{1}{1+e^{-z}}\right)=g(z)\cdot (1-g(z))& \end{array}$$

$$\begin{array}{rl}& y=\{\begin{array}{l}1\\ 0\end{array}\\ & \hat{\mathrm{y}}=\{\begin{array}{l}1,p>\text{ threshold }\\ 0,p\le \text{ threshold }\end{array}\end{array}$$
当某个样本的预测概率$p$正好等于我们所设置的阈值$threshold$时， 我们将该样本预测为正例或者负例都可以。

logistic 回归及似然函数

• 假设:
  $$\begin{array}{rl}& P(y=1\mid x;\theta )=h_{\theta }(x)\\ & P(y=0\mid x;\theta )=1-h_{\theta }(x)\\ & P(y\mid x;\theta )={\left(h_{\theta }(x)\right)}^y{\left(1-h_{\theta }(x)\right)}^{(1-y)}\end{array}$$
• 对于所有训练样本，我们希望最大化整个数据集的联合概率分布，即似然函数: $L(\theta )=p(\vec{y}\mid X;\theta )={\prod }_{i=1}^{m}p\left(y^{(i)}\mid x^{(i)};\theta \right)$
  $$=\prod _{i=1}^m{\left(h_{\theta }\left(x^{(i)}\right)\right)}^{y^{(i)}}{\left(1-h_{\theta }\left(x^{(i)}\right)\right)}^{\left(1-y^{(i)}\right)}$$
• 为了便于计算，我们通常对似然函数取对数，得到对数似然函数$\ell (\theta )$

$$\ell (\theta )=\ln L(\theta )=\sum _{i=1}^m\left(y^{(i)}\ln h_{\theta }\left(x^{(i)}\right)+\left(1-y^{(i)}\right)\ln \left(1-h_{\theta }\left(x^{(i)}\right)\right)\right)$$

交叉熵损失函数

交叉熵损失函数（Cross-Entropy Loss Function），在机器学习中也常称为对数损失（Log Loss），是一种评估模型性能的指标，特别是在分类任务中。它衡量的是实际输出（标签）和模型预测之间的差异。

定义

对于二分类问题，交叉熵损失可以定义为：
$$J(\theta )=\sum _{i=1}^m[-y^{(i)}\ln (h_{\theta }$$