用人话讲明白逻辑回归Logistic regression

今天梳理一下逻辑回归，这个算法由于简单、实用、高效，在业界应用十分广泛。注意咯，这里的“逻辑”是音译“逻辑斯蒂（logistic）”的缩写，并不是说这个算法具有怎样的逻辑性。

前面说过，机器学习算法中的监督式学习可以分为2大类：

• 分类模型：目标变量是分类变量（离散值）；
• 回归模型：目标变量是连续性数值变量。

逻辑回归通常用于解决分类问题，例如，业界经常用它来预测：客户是否会购买某个商品，借款人是否会违约等等。

实际上，“分类”是应用逻辑回归的目的和结果，但中间过程依旧是“回归”。

为什么这么说？

因为通过逻辑回归模型，我们得到的计算结果是0-1之间的连续数字，可以把它称为“可能性”（概率）。对于上述问题，就是：客户购买某个商品的可能性，借款人违约的可能性。

然后，给这个可能性加一个阈值，就成了分类。例如，算出贷款违约的可能性>0.5，将借款人预判为坏客户。

1.从线性回归说起

考虑最简单的情况，即只有一个自变量的情况。比方说广告投入金额x和销售量y的关系，散点图如下，这种情况适用一元线性回归。

线性回归的介绍文章戳这里：用人话讲明白线性回归LinearRegression

但在许多实际问题中，因变量y是分类型，只取0、1两个值，和x的关系不是上面那样。假设我们有这样一组数据：给不同的用户投放不同金额的广告，记录他们购买广告商品的行为，1代表购买，0代表未购买。

假如此时依旧考虑线性回归模型，得到如下拟合曲线：

线性回归拟合的曲线，看起来和散点毫无关系，似乎没有意义。但我们可以在计算出$\hat{y}$的结果后，加一个限制，即$\hat{y}>0.5$，就认为其属于1这一类，购买了商品，否则认为其不会购买，即：
$$\hat{y}=\{\begin{array}{l}1,f(x)>0.5\\ 0,f(x)\le 0.5\end{array}$$

由于拟合方程为$\hat{y}=0.34\ast x$，那么上面的限制就等价于：
$$\hat{y}=\{\begin{array}{l}1,x>1.47\\ 0,x\le 1.47\end{array}$$

这种形式，非常像单位阶跃函数：
$$y=\{\begin{array}{l}0,z<0\\ 0.5,z=0\\ 1,z>0\end{array}$$

图像如下：

我们发现，把阶跃函数向右平移一下，就可以比较好地拟合上面的散点图呀！但是阶跃函数有个问题，它不是连续函数。

理想的情况，是像线性回归的函数一样，X和Y之间的关系，是用一个单调可导的函数来描述的。

2.sigmond函数

实际上，逻辑回归算法的拟合函数，叫做sigmond函数：
$$f(z)=\frac{1}{1+e^{-z}}$$

函数图像如下（百度图片搜到的图）：

sigmoid函数是一个s形曲线，就像是阶跃函数的温和版，阶跃函数在0和1之间是突然的起跳，而sigmoid有个平滑的过渡。

从图形上看，sigmoid曲线就像是被掰弯捋平后的线性回归直线，将取值范围(−∞,+∞)映射到(0,1) 之间，更适宜表示预测的概率，即事件发生的“可能性” 。

3.推广至多元场景

在用人话讲明白梯度下降Gradient Descent一文中，我们讲了多元线性回归方程的一般形式为：

$$y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+\cdots +{\beta }_p{x}_p$$

可以简写为矩阵形式：
$$\mathbf{Y}=\mathbf{X}\mathbf{\beta }$$

其中，$\mathbf{Y}=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right],\mathbf{X}=\left[\begin{array}{cccc}1& x_{11}& \cdots & x_{1p}\\ 1& x_{21}& \cdots & x_{2p}\\ ⋮& ⋮& & ⋮\\ 1& x_{n1}& \cdots & x_{np}\end{array}\right],\mathbf{\beta }=[\begin{array}{c}{\beta }_0\\ {\beta }_{}\end{array}$