逻辑回归

1、逻辑回归概述

简单来说，逻辑回归模型就是讲线性回归模型的结果输入一个sigmoid函数，将回归值映射到0 ~ 1，表示输出为类别 1 的概率。

2、逻辑回归原理

2.1、逻辑回归模型

线性回归表达式如下：
$$z_i=\mathbf{w}\cdot {\mathbf{x}}_i+\mathbf{b}$$
式中 ${\mathbf{x}}_i$ 是第 $i$ 个样本的 $N$ 个特征组成的特征向量，即 ${\mathbf{x}}_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(N)})$； $ \boldsymbol{w}$ 为 $N$ 个特征对应的特征权重组成的向量，即 $\mathbf{w}=(w_1,w_2,...,w_N)$；$\mathbf{b}$ 是第 $i$ 个样本对应的偏置常数。
sigmoid函数：
$$y_i=\frac{1}{1+e^{-z_i}}$$
其中，$z_i$ 是自变量， $y_i$ 是因变量，$e$ 是自然常数。
在线性回归的结果上套一个sigmoid函数就能得到逻辑回归的结果，即
$$y_i=\frac{1}{1+e^{-z_i}}=\frac{1}{1+e^{-(\mathbf{w}\cdot {\mathbf{x}}_i+\mathbf{b})}}$$
如果我们将 $y_i=1$ 视为 ${\mathbf{x}}_i$ 作为正例的可能性，即
$$P(y_i=1|{\mathbf{x}}_i)=\frac{1}{1+e^{-(\mathbf{w}\cdot {\mathbf{x}}_i+\mathbf{b})}}=\frac{e^{\mathbf{w}\cdot {\mathbf{x}}_i+\mathbf{b}}}{1+e^{\mathbf{w}\cdot {\mathbf{x}}_i+\mathbf{b}}}$$
那么反例 $y_i=0$ 的可能性就为
$$P(y_i=0|{\mathbf{x}}_i)=1-P(y_i=1|{\mathbf{x}}_i)=\frac{1}{1+e^{\mathbf{w}\cdot {\mathbf{x}}_i+\mathbf{b}}}$$
定义两者的比值 $\frac{P(y_i=1|{\mathbf{x}}_i)}{P(y_i=0|{\mathbf{x}}_i)}$ 为“概率”，对其取对数得到“对数概率”，可得：
$$ln\frac{P(y_i=1|{\mathbf{x}}_i)}{1-P(y_i=1|{\mathbf{x}}_i)}=\mathbf{w}\cdot {\mathbf{x}}_i+\mathbf{b}$$
上面定义的对数概率 $ln\frac{P(y_i=1|{\mathbf{x}}_i)}{1-P(y_i=1|{\mathbf{x}}_i)}$ 的结果正好是线性回归的预测结果 $\mathbf{w}\cdot {\mathbf{x}}_i+\mathbf{b}$。由此可知，逻辑回归的本质就是用线性回归的预测结果 $\mathbf{w}\cdot {\mathbf{x}}_i+\mathbf{b}$ 去逼近真实标记的对数概率 $ln\frac{y}{1-y}$，实际上这也是逻辑回归被称为“对数回归”的原因。

2.2、 逻辑回归学习策略

由上可知，逻辑回归模型中，正例和反例各自的表达式分别如下：
$$P(y_i=1|{\mathbf{x}}_i)=\frac{1}{1+e^{-(\mathbf{w}\cdot {\mathbf{x}}_i+\mathbf{b})}}=\frac{e^{\mathbf{w}\cdot {\mathbf{x}}_i+\mathbf{b}}}{1+e^{\mathbf{w}\cdot {\mathbf{x}}_i+\mathbf{b}}}$$
$$P(y_i=0|{\mathbf{x}}_i)=1-P(y_i=1|{\mathbf{x}}_i)=\frac{1}{1+e^{\mathbf{w}\cdot {\mathbf{x}}_i+\mathbf{b}}}$$
构造似然函数，将其转化为一个优化问题来估计出 $\mathbf{w}$ 和 $\mathbf{b}$ 了。
对给定数据集 $T=(x_1,y_1),(x_2,y_2),...(x_M,y_M)$，定义似然函数：
$$L(\mathbf{w},\mathbf{b})=\prod _{i=1}^M[P(y_i=1|{\mathbf{x}}_i){]}^{y_i}[1-P(y_i=1|{\mathbf{x}}_i){]}^{1-y_i}$$
取对数，得对数似然函数：
$$lnL(\mathbf{w},\mathbf{b})=\sum _{i=1}^M{y}_i\cdot ln[P(y_i=1|{\mathbf{x}}_i)]+(1-y_i)ln[1-P(y_i=1|{\mathbf{x}}_i)]=\sum _{i=1}^M{y}_i\cdot (\mathbf{w}\cdot {\mathbf{x}}_i+\mathbf{b})-ln(1+e^{\mathbf{w}\cdot {\mathbf{x}}_i+\mathbf{b}})$$
我们只需要使每个样本属于其真实标记的概率越大越好，即
$$\underset{\mathbf{w},\mathbf{b}}{\max }\sum _{i=1}^M{y}_i\cdot (\mathbf{w}\cdot {\mathbf{x}}_i+\mathbf{b})-ln(1+e^{\mathbf{w}\cdot {\mathbf{x}}_i+\mathbf{b}})$$

3、小结

逻辑回归的名字叫作回归，其实是一种分类方法，下面阐述逻辑回归的优缺点。

3.1、优点

• 逻辑回归模型直接对分类的可能性进行建模，无须事先假设数据满足某种分布类型。
• 逻辑回归模型不仅可以预测出样本类别，还可以得到预测为某类别的近似概率，这在许多需要利用概率辅助决策的任务中比较实用。
• 逻辑回归模型中使用的对数损失函数是任意阶可导的凸函数，有很好的的数学性质，可避免局部最小值问题。
• 逻辑回归模型对一般的分类问题都可使用，特别是对稀疏高维特征的处理没有太大的压力。

3.2、缺点

• 逻辑回归模型本质是一种线性模型，只能做线性分类，不适合处理非线性的情况，一般需要结合较多的人工特征处理使用。
• 逻辑回归对正负样本的分布比较敏感，所以要注意样本平衡性，即 $y=1$ 的样本数不能太少。