逻辑回归

概念

E.n. Logistic Regression，经典的机器学习分类算法之一，与线性回归同属于广义线性模型 (generalized linear model)。逻辑回归的作用域在于整个实数集。经由参数 $W$ 和 $b$ (统称为 $\theta$ ) 线性变换后得出的实数，由特定函数投射到 $[0,1]$ 的值域范围内：
$$z_i=f(X_i;\theta )=f(W^T{X}_i+b)$$

二分类

在二分类中，$f$ 即为 Sigmoid 函数，求出的 $z$ 可以理解为样本属于正案例的概率，$(1-z)$ 即为样本属于负案例的概率，这里我们将判断分类的阈值设为 $0.5$，
$$z_i=\frac{1}{1+e^{-(W^T{X}_i+b)}}$$

$$\widehat{y_i}=\{\begin{array}{ll}0,& z_i<0.5\\ 1,& z_i\ge 0.5\end{array}$$

我们希望最大化全部样本预测正确的综合概率，似然函数
$$l(X;\theta )=\prod _{X_i\in X}{z}_i^{y_i}(1-z_i{)}^{1-y_i}$$

使用极大似然法求解最优参数 ${\theta }^{\ast }$，
$${\theta }^{\ast }=\arg \underset{\theta }{\max }l(X;\theta )=\arg \underset{\theta }{\min }-\log l(X;\theta )$$

由此，最大化似然函数的问题转变为最小化损失函数
$$L(X;\theta )=-\sum _i(y_i\log z_i+(1-y_i)\log (1-z_i))$$

这也就是我们常见的交叉熵损失函数。经过简化，损失函数成为
$$L(X;\theta )=-\sum _i(y_i{z}_i+\log (1+e^{z_i}))$$

若样本标签从当前的 { 0 , 1 } \{0,1\} {0,1} 改为 { − 1 , 1 } \{-1,1\} {−1,1}，则重写后的上述公式为
$$L(X;\theta )=-\sum _i\log (1+e^{-z_i{y}_i})$$

也就是我们熟悉的 Logistic Loss。模型训练过程中，使用梯度下降法或牛顿法逐步拟合参数。

Algorithm LogisticRegression($D$,$\eta$):
 Input: Sample data D = { ( X i , y i ) } D=\{(X_i,y_i)\} D={(Xi​,yi​)}, learning rate $\eta$.
 Output: Prediction result $\hat{y}$.
 initialize $W$ and $b$;
 while not converged do
  $z\leftarrow \sigma (W^{T}X+b)$
  $L\leftarrow -y\log z-(1-y)\log (1-z)$
  $W\leftarrow W-\eta \cdot \frac{\partial L}{\partial W}$
  $b\leftarrow b-\eta \cdot \frac{\partial L}{\partial b}$
 return $\mathbb{I}(\sigma (W^{T}X+b)\ge 0.5)$

多分类

多分类的思路与二分类不大，针对每一种分类单独训练一套参数，标签为 “属于该分类” 和 “不属于该分类”。各个分类下的模型最后求出来的 $z$ 值通过 Softmax 函数归一化处理后的值即为分属于该分类的概率。
$$softmax(z_k)=\frac{e^{z_k}}{{\sum }_{k=1}^K{e}^{z_k}}$$