一个基础的模型——逻辑回归

  逻辑回归是分类算法，可以支持二分类和多分类得问题，但是为什么称为回归？而不是分类呢？个人认为，第一，逻辑回归中保留了回归模型（线性回归）的思想；第二，逻辑回归在经过非线性转换为概率，然后用概率对类别。其中第二种思想在很多分类学习器中都有体现，如：神经网络，$GBDT$.

1. 从线性回归导出逻辑回归

  我们知道，线性回归就是以一个线性函数$\hat Y = \theta \bar X$拟合真实标记$Y$，损失函数为均方误差：$L(\bar X,Y \mid \theta) = \frac{1}{2m}(\hat Y - Y)^T(\hat Y - Y)$,最终根据最小二乘法得到拟合模型：$Y = \theta^* \bar X$；此时样本的标记$Y$是连续的，如果$Y$是离散的，我们强行使用线性回归会出现问题，因此我们需要一个能解决分类问题的模型。具体思想是：我们通过一个函数将线性回归的输出转换到样本所属类别概率上，最终通过拟合概率来得到模型，数学表示为：

$$P(Y \mid X) = \phi(\theta X)$$

  一般来说，我们的$\phi(X):R\rightarrow[0,1]$，但是我们使用的确实$sigmoid$函数：$\phi(x) = \frac{1}{1+e^{-x}}$；而不使用$\phi(x) = \frac{1+tanh(x)}{2}$这是为什么呢（新浪面经）？在讲述玩逻辑回归后我们回就这个问题展开讨论.

2. 逻辑回归模型的二分类

2.1. 概率预测

  为了简单起见，我们假设标记$Y_i \in \{0,1\}, i = 1,{\ldots},n$，且在样本$X_i$给定下，类别标记$Y_i$独立同$Bernoulli$分布，数学表述为：

$$P\{Y_i=1\mid X_i\} = 1-P\{Y_i=0 \mid X_i\}\quad{i = 1,{\ldots},n,}$$
且 $$P\{Y_i,Y_j\mid X_i,X_j\} = P\{Y_i \mid X_i\}P\{Y_j \mid X_j\}\quad i,j = 1,{\ldots},n.$$

  因此，对于样本集$\{(x_i, y_i)\mid i=1,{\dots},n\}$，如第一节所述，

我们假设$y_i=1$的条件概率为：

$$P\{y_i=1 \mid x_i\} = \phi(\theta x_i),$$
那么$y_i = 0$ 的条件概率为： $$P\{x_i = 0 \mid x_i \} = 1-\phi(\theta x_i),$$
所以二分类问题$y_i$ 的条件概率为： $$P\{y_i \mid x_i\} = \phi(\theta x_i)^{y_i}(1-\phi(\theta x_i))^{1-y_i},$$
统一形式，我们令$\phi(\theta x_i) = h_{\theta}(x_i)$，得条件概率为： $$P\{y_i \mid x_i\} = h_{\theta}(x_i)^{y_i}(1-h_{\theta}(x_i))^{1-y_i}.$$

2.2. 损失函数

  上节介绍了一个样本$x_i$类别标记为$y_i$得条件概率为：$P\{y_i \mid x_i\} = h_{\theta}(x_i)^{y_i}(1-h_{\theta}(x_i))^{1-y_i}$，那么所有样本$X$类别标记为$Y$的概率(似然函数)：

$$\begin{align} L(\theta) &= P\{Y \mid X, \theta\} = {\Pi_{i=1}^{n}}P\{y_i \mid x_i, \theta\}\\ &= \Pi_{i=1}^{n}P\{y_i \mid x_i\} \\ &= \Pi_{i=1}^{n}h_{\theta}(x_i)^{y_i}(1-h_{\theta}(x_i))^{1-y_i}, \end{align}$$

我们将对数似然函数$L(\theta)$取负及得损失函数：

$$\begin{align} J(\theta) &= -\ln(L(\theta))\\ \\ &= -\ln(\prod\nolimits_{i=1}^{n}h_{\theta}(x_i)^{y_i}(1-h_{\theta}(x_i))^{1-y_i})\\ \\ &= -\sum\nolimits_{i=1}^n(y_i \ln(h_{\theta}(x_i)) + (1-y_i) \ln(1-h_{\theta}(x_i))). \end{align}$$

2.3. 参数更新

  从概率角度来讲，我们希望最大化所有样本$X$被判为$Y$的概率$P\{Y \mid X,\theta\}$，也就是最大化对数似然函数$L(\theta)$，或者说最小化损失函数$J(\theta)$:

$$\theta^* = \min_{\theta}J(\theta),$$

常用的方法有牛顿法，坐标轴下降法，牛顿法等等；这里使用的方法是梯度下降法：
我们将$J(\theta)$对$\theta$求偏导：

$$\begin{align} \frac{\partial J(\theta)}{\partial \theta} &= -\sum_{i=1}^n\Big (y_i \frac{\partial (\ln(h_{\theta}(x_i))}{\partial \theta} + (1-y_i)\frac{\partial(1 - h_{\theta}(x_i))}{\partial \theta}\Big)\\ &= -\sum_{i=1}^n\Big(y_i \frac{h_{\theta}(x_i)(1-h_{\theta}(x_i))}{h_{\theta}(x_i)} - (1-y_i)\frac{(1-h_{\theta}(x_i))h_{\theta}(x_i)}{1 - h_{\theta}(x_i)}\Big)x_i\\ &= \sum_{i=1}^n(h_{\theta}(x_i) - y_i)x_i \end{align}$$

其中，$\frac {\partial h_{\theta}(x)}{\partial \theta} = h_{\theta}(x)(1-h_{\theta}(x)).$

得到参数$\theta$的更新为：

$$\theta = \theta - \eta\sum_{i=1}^n(h_{\theta}(x_i) - y_i)x_i$$

也可以写成矩阵形式：

$$\theta = \theta - \eta X^T(h_{\theta}(X) - Y)$$

2.4. 正则化

  回顾线性回归的正则化：为了防止过拟合，我们在损失函数上加上正则化，得到岭回归和$Lasso$回归.
* 岭回归：
$J(\theta) = \frac{1}{2n}\sum_{i=1}^{n}(\theta^T\bar x_i - y_i)^2 + \lambda \sum_{i=1}^n\theta_i^2$

• Lasso回归：
  $J(\theta) = \frac{1}{2n}\sum_{i=1}^n(\theta^T\bar x_i - y_i)^2 + \lambda \sum_{i=1}^n|\theta_i|$

同理我们可以得到逻辑回归的正则化表示：

• L1正则：
  

  $$J(\theta) = -\sum\limits_{i=1}^n(y_i \ln(h_{\theta}(x_i)) + (1-y_i) \ln(1-h_{\theta}(x_i))) + \lambda \sum_{i=1}^n|\theta_i|$$

  参数更新方法常用坐标轴下降法和最小角回归法.

• L2正则：
  

  $$J(\theta) = -\sum\limits_{i=1}^n(y_i \ln(h_{\theta}(x_i)) + (1-y_i) \ln(1-h_{\theta}(x_i))) + \lambda \sum_{i=1}^n\theta_i^2$$

  参数更新方法和一般的逻辑回归类似.

3. 逻辑回归的多分类

3.1. 多分类的经典策略

  在机器学习中处理多分类问题主要使用拆分方法，经典的拆分策略有三种：”一对一”(OvO)，”一对其余”(OvR)，”多对多”(MvM).
  给定训练数据$(x_i,y_i)\ i =1,\dots,m,\ y_i \in \{C_1,C_2,\dots,C_N\}$.

• “一对一”(OvO)

  (OvO)策略是将数据按类别俩俩配对进行训练，得到$N(N-1)/2$个学习器，然后将训练结果投票表决.

• “一对其余”(OvR)

  OvR策略是将从数据中选出一个类别数据作为正例，其他类别数据统称为负例进行训练，最终得到$N$个学习器，如果一个样本在$N$个学习器下的结果只有一个则样本类别已确定，否则找出找出置信度最大的结果作为样本类别.

• “多对多”(MvM)

  MvM策略是每次将若干样本作为正例，若干样本作为负例，且正，负例具有独特的设计不能随便选取，最常用的MvM技术：”纠错输出码”.

3.2. 逻辑回归多分类

  对付逻辑回归多分类，我们可以训练$N-1\ $个分类器，其中第$k$个分类器用来输出$y = C_k$的概率，回顾二分类问题，

$$\frac{P(y=1\mid x, \theta)}{P(y=0 \mid x, \theta)} = \frac{1/(1 + e^{\theta^Tx})}{e^{\theta^Tx}/(1 + e^{\theta^Tx})} = \frac{1}{e^{\theta^Tx}}$$

类似有：

$$\begin{align} \frac{P(y=C_N \mid x, \theta)}{P(y=C_1 \mid x, \theta)} &= \frac{1}{e^{\theta_1^Tx}}\\ \frac{P(y=C_N \mid x, \theta)}{P(y=C_2 \mid x, \theta)} &= \frac{1}{e^{\theta_2^Tx}}\\ \dots\dots \\ \frac{P(y=C_N \mid x, \theta)}{P(y=C_{N-1} \mid x, \theta)} &= \frac{1}{e^{\theta_{N-1}^Tx}}\\ \end{align}$$
且 $$\sum\nolimits_{k=1}^{N}P(y=C_k \mid x, \theta) = 1$$

通过上述$N$个式子我们解得：

$$\begin{align} P(y = C_k \mid x, \theta) &= \frac{e^{\theta_k^Tx}}{1 + \sum\nolimits_{i=1}^{N-1}e^{\theta_k^Tx}}\quad k = 1,2,\dots,N-1\\ P(y = C_N \mid x, \theta) &= \frac{1}{1 + \sum\nolimits_{i=1}^{N-1}e^{\theta_k^Tx}} \end{align}$$

最终损失函数为：

$$J(\theta) = -\sum_{i=1}^m\sum_{k=1}^KI(y_i=C_k)\ln P(y_i = C_k\mid x_i,\theta_k)$$

容易看出，上述方法采用的是OvO的策略.

  值得一提的是，我们也可以构造$N$个学习器，这样输出就有$N$个，可以通过$softmax$函数转换得到$N$个概率值，第$k$个概率值就是$y$为$C_K$的概率：

$$\begin{align} P\{y = C_k \mid x, \Theta\} = \frac{e^{\theta_k^Tx}}{\sum_{i=1}^N e^{\theta_i^Tx}} \quad k =1,2,\dots,N \end{align}$$

损失函数类似第一种方法.

4. 逻辑回归激活函数选取

  在逻辑回归中，我们使用的确实$sigmoid$函数：$\phi(x) = \frac{1}{1+e^{-x}}$；而不使用$\phi(x) = \frac{1+tanh(x)}{2}$这是为什么呢？其实是有依据的，只有当使用$sigmiod$函数做输出函数时逻辑回归模型才能算是一个广义线性模型(Generalized Linear Model).
  在解释其原因之前我们先介绍两个概念.

A. 指数族分布

  指数族分布满足下面公式：

$$p(y,\eta) = b(\eta)e^{\eta T(y) - \alpha(\eta)}$$

  其中$\eta$为自然参数，$T(y)$是充分统计量，通常为$T(y) = y$，$\alpha (\eta)$为正则化项.

  举个例子，我们常见的指数分布：
$p(x)=\lambda e^{-\lambda x}$
显然是一个指数族分布，它对应着$b(\lambda)$，$T(x)=x$，$\alpha(\lambda)=0$的情况.

B. 广义线性模型(GLM)

  满足以下三个条件的模型称为GLM：

1. 在$x,\theta$下$y$是一个参数为$\eta$的指数族分布，或：

$$P(y \mid x, \theta) = b(\eta)e^{\eta T(y) - \alpha(\eta)}$$

1. 给定$x$，我们的预测是$y$的期望：

$$h(x) = E(y\mid x)$$

1. 参数$\eta$满足：

$$\eta = \theta^Tx$$

  首先，我们可以看出，在二分类中，$Bernoulli$分布就是一个指数族分布.
  二分类逻辑回归中，我们假设样本的类别标记服从$Bernoulli$分布，所以

$$\begin{align} P(y \mid x, \theta) &= \phi^y(1 - \phi)^{1-k}\\ &= exp(y\ln \phi + (1-y)\ln(1 -\phi))\\ &= exp(\ln \frac{\phi}{1-\phi} + \ln(1-\phi)) \end{align}$$

我们令：

$$\begin{cases} \eta = \ln \frac{\phi}{1-\phi} \Rightarrow \phi = \frac{1}{1+e^{-\eta}}(sigmoid)\\ \alpha(\eta) = -\ln(1-\phi)=\ln(1+e^{\eta})\\ b(\eta) =1 \end{cases}$$

因此，条件概率可写成$P(y \mid x, \theta) = b(\eta)e^{\eta y - \alpha(\eta)}$，这是一个指数族分布函数，同时我们也得出输出$\phi(x) = \frac{1}{1+e^{-\eta}}$(满足第一条).

  其次，对于逻辑回归中$Bernoulli$分布的期望：

$$\begin{align} E(y\mid x,\theta) &= 1 \times P(y=1 \mid x, \theta) + 0 \times P(y=0, \mid, x, \theta)\\ &= 1 \times \phi = \phi(满足第二条.) \end{align}$$

  最后我们令$\eta = \theta^Tx$(满足第三条).

  所以在转换函数为$\phi(x) = \frac{1}{1+e^{-\theta^Tx}}$下，逻辑回归模型是一个广义线性模型.

5.总结

  逻辑回归模型是一个非常简单的模型，训练速度非常快，而且容易理解，一般在数据处理完毕之后第一时间使用的就是逻辑回归.，虽然使用起来没有支持向量机（SVM）那么占主流，但是解决普通的分类问题是足够了，训练速度也比起SVM要快不少。如果你要理解机器学习分类算法，那么第一个应该学习的分类算法个人觉得应该是逻辑回归。理解了逻辑回归，其他的分类算法再学习起来应该没有那么难了。