机器学习之Logistic回归详解

前言

Logistic回归是把线性回归（连续的）转化为二分类的问题（不连续的）的模型
今天从头梳理一下Logistic回归。
文章的整体思路是：

1. 由Odds引出logit函数
2. 由logit函数推导出它的反函数sigmod函数
3. sigmod函数推导出Logistic回归
4. 求解参数$\theta$值

Odds引出logit函数

Odds的全称是：The Odds Of Experiencing An Event
翻译过来就是事件发生与不发生的概率的比值。
它是用来衡量特征当中分类之间关联的一种方式。指的是事件发生的概率（简称正例下文会经常用到）与该事件不发生的概率（负例）的比值，即：
$$odds=\frac{p}{1-p}$$

由此引出一个新的函数 --> Logit函数，其中就是Odds取对数，即：
$$logit(p)=\ln \frac{p}{1-p}={\theta }^{T}x$$
${\theta }^{T}x$是什么呢？
${\theta }^T$是$\vec{\theta }$转置，$\vec{\theta }$是个列向量，机器学习中所有的向量默认都是列向量。Logistic回归不是通过线性回归进行二分类吗？$\theta$就是线性回归方程的系数。
${\theta }^T$展开以后就是：
$${\theta }^T=[{\theta }_1,{\theta }_2,{\theta }_3,\cdots ,{\theta }_n]$$
$x$（小写）也是个列向量，表示一个样本中的数据，
$x$（小写）展开以后为：
$$\vec{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\\ ⋮\\ x_n\end{array}\right]$$
则：
$${\theta }^{T}x={\theta }_1{x}_1,{\theta }_2{x}_2,{\theta }_3{x}_3,\cdots ,{\theta }_n{x}_n$$

logit函数推导它的反函数sigmod函数

让我们再回到logit函数：
$$logit(p)=\ln \frac{p}{1-p}$$
$p$是事件发生的概率，取值范围为$(0,1)$，于是logit函数的取值范围为$(-\infty ,+\infty )$

logit函数是人为定义的.在坐标轴上画出来是这样的:

上文中$logit(p)={\theta }^{T}X$是我们根据数据构建出来的线性回归方程，我们假设logit函数符合某种线性关系,也就是说和我们的特征之间呈现某种线性关系,注意,这是我们人为定义的.

为什么可以这么人为定义呢?
机器学习中好多算法都是基于某种人为定义的假设,然后基于这种假设进行层层的推导,最终得到某种模型,然后用数据验证我们的假设是否理想(准确率有多高),不理想的话再换一种模型(换一种假设)

sigmod函数其实就是logit函数的反函数，推导如下：
令：$f=logit(p)$
于是有：

$$f=\ln \frac{p}{1-p}$$
两边同时取$e$
$$\begin{array}{r}{e}^f=\frac{p}{1-p}\\ \\ (1-p)e^f=p\\ \\ (1+e^f)p=e^f\\ \\ p=\frac{e^f}{1+e^f}\\ p=\frac{1}{1+e^{-f}}\end{array}$$
而$f={\theta }^{T}x$，于是我们的sigmod函数就出来了：
$$p=\frac{1}{1+e^{-{\theta }^{T}x}}$$

让我们再回到当初,
当初我们为什么要求解这个sigmoid函数呢?
一开始的时候我们有logit函数,通过这个函数我们可以输入一个p然后得到一个y,但是这没什么鸟用
于是我们假定x与Y之间存在某种线性关系,通过X与Y和Y与P之间的关系,我们得到sigmoid函数,即输入一个x(特征值)得到一个p(概率),这个就很有用了.
那么当初的logit函数为什么要加个$\ln$呢?
OK,这就是sigmoid函数的核心:推导出来的sigmoid函数正好将原有函数的取值范围映射到了0和1之间,即sigmod函数：
$$\begin{array}{r}P=g({\theta }^{T}x)=\frac{1}{1+e^{-{\theta }^{T}x}}\\ \\ P\sim (0,1)\end{array}$$
OK,它是不是与概率的取值范围是一致的呢?后面处处都会用到滴.

sigmod函数推导Logistic回归

上面我们求导出来 的sigmod函数是连续的，而Logistic是通过线性回归做二分类的，它们怎么连接起来呢？
我们知道：

• X是我们的数据
• Y是分类结果
• P是预测分类结果的概率

我们是不是可以认为：

• 当概率P大于某一阈值的时候是正例
• 当概率P小于某一阈值的时候是负例

我们可以发现sigmod函数是一个关于点$(0,0.5)$对称的奇函数,
于是有:
$$f(x)+f(-x)=1$$
这是一个很好的性质?我们正好可以认为当$P>0.5$ 的时候是正例，当$P\le 0.5$的时候是负例。
于是Logistic回归就出来了：
$$\hat{y}=\{\begin{array}{l}1,P(\hat{y}=1)>p_{阈}\\ 0,P(\hat{y}=0)\le p_{阈}\end{array}$$
注：

• $\hat{y}$表示预测结果
• $y$表示实际结果
• $P(\hat{y}=x)$表示sigmod函数，它可以取到不同的概率值
• $Y$本质上就是一个类别(类别不是连续的,直接就是等于$0$,或者等于$1$,只有这两个值)

需要说明的是用线性回归做分类一定要慎重
因为阈值不好确定,本例中的sigmod函数正好关于点$(0,0.5)$对称,因此阈值是0.5很合理,但是如果不关于0.5对称呢?这个时候你所设定的阈值可能是盲目的,没有数学依据的.从而导致预测得不准确

求解参数$\theta$值

在线性回归里$P(y|x)$符合正态分布:$y|x\sim N({\theta }^{T}x,{\sigma }^2)$
为什么呢？我们可以画个图看下：

在坐标轴中黑色的点表示实际的分布情况，红色的直线表示我们的预测结果，点到线的距离是不是呈正态分布呢？
可以考虑下极大似然估计
为了方便计算我们令$h_{\theta}(x)为sigmod函数，即：
$$h_{\theta }(x^i)=\frac{1}{1+e^{-\theta x}}$$
由上文推导出来的Logistic回归，
假设：
$$\begin{gathered} P(y=1|x;\theta )=h_{\theta }(x^i) \\ P(y=0|x;\theta )=1-h_{\theta }(x^i) \\ P(y|x;\theta )=(h_{\theta }(x^i){)}^y(1-h_{\theta }(x^i){)}^{1-y} \end{gathered}$$
其实你可以认为将上面Logistic回归两人式合并为一个。

于是可以写出它的概率密度函数，也即似然函数:
$$L(\theta )=\prod P(y^1{y}^2{y}^3\cdots y^m|x_i;\theta )$$
不同的观测值之间是独立同分布的.
于是有：
$$\begin{array}{rl}L(\theta )& =P(\vec{y}|X;\theta )\\ & =\prod _{i=1}^{m}P(y^i|x_i;\theta )\\ & =\prod _{i=1}^m(h_{\theta }(x^i){)}^{y^i}(1-h_{\theta }(x^i){)}^{1-y^i}\end{array}$$
OK，现在我们求解$L(\theta )$的极大值就行了，即极大似然估计。
由于$\ln L(\theta )$与$L(\theta )$的单调性是相同的，而$\ln L(\theta )$的极值给比较好求，故我们可以求解$\ln L(\theta )$导数。
在对$\ln L(\theta )$求导之前，我们先对sigmod函数求导：
我们先来个简化版的：
令$$g(z)=\frac{1}{1+e^{-z}}$$
对$g(z)$求导：
$$\begin{array}{rl}g(z{)}^{\prime }& ={\left(\frac{1}{1+e^{-z}}\right)}^{\prime }\\ & =\left(-\frac{1}{(1+e^{-z}{)}^2}\right)\cdot \left(-e^{-z}\right)\\ & =\frac{e^{-z}}{(1+e^{-z}{)}^2}\\ & =\frac{1}{1+e^{-z}}\cdot \frac{e^{-z}}{1+e^{-z}}\\ & =\frac{1}{1+e^{-z}}\cdot \left(1-\frac{1}{1+e^{-z}}\right)\\ & =g(z)\left(1-g(z)\right)\end{array}$$
于是我们可以知道$h_{\theta }(x^i)$的导数为：
$$h_{\theta }^{\prime }(x^i)=h_{\theta }(x^i)(1-h_{\theta }(x^i))$$

对$L(\theta )$取对数：
$$\begin{array}{rl}\ln L(\theta )& =\ln \prod _{i=1}^m\left(h_{\theta }(x^i{)}^{y^i}\cdot (1-h_{\theta }(x^i{)}^{1-y^i}\right)\\ & =\sum _{i=1}^m\left(y^i\cdot \ln h_{\theta }(x^i)-(1-y^i)\cdot \ln h_{\theta }(x^i)\right)\\ & =\sum _{i=1}^m\left(y^i\ln h_{\theta }(x^i)+(1-y^i)\cdot \ln (1-h_{\theta }(x^i))\right)\end{array}$$
OK，准备工作已经完成了，现在可以对$\ln L(\theta )$关于$\theta$求偏导了：
$$\begin{array}{rl}\frac{\partial \ln L(\theta )}{\partial {\theta }_j}& ={\left(\sum _{i=1}^m\left(y^i\ln h_{\theta }(x^i)+(1-y^i)\cdot \ln (1-h_{\theta }(x^i))\right)\right)}^{\prime }\\ & =\sum _{i=1}^m\left(\frac{y^i}{h_{\theta }(x^i)}-\frac{1-y^i}{1-h_{\theta }(x^i)}\right)\cdot \frac{\partial h_{\theta }(x^i)}{\partial {\theta }_j}\end{array}$$
令$g({\theta }^T{x}^i)=h_{\theta }(x^i)$，于是有：
$$\frac{\partial \ln L(\theta )}{\partial {\theta }_j}=\sum _{i=1}^m\left(\frac{y^i}{g({\theta }^T{x}^i)}-\frac{1-y^i}{1-g({\theta }^T{x}^i)}\right)\cdot \frac{\partial g({\theta }^T{x}^i)}{\partial {\theta }_j}$$

剩下的就是对$g({\theta }^T{x}^i)$关于$\theta$求偏导。
根据微分链式法则，我们可以先对$g({\theta }^T{x}^i)$求偏导，再对${\theta }^T{x}^i$求偏导。
$g({\theta }^T{x}^i)$就是sigmod函数，上文我们已经求出了它的导数即：
$$g({\theta }^T{x}^i)=g({\theta }^T{x}^i)\cdot (1-g({\theta }^T{x}^i))$$
然后就是对${\theta }^T{x}^i$求偏导，
${\theta }^T{x}^i$中${\theta }^T$是个向量，$x$是个矩阵，$x^i$则是个向量，二者相乘展开为：
$$g({\theta }^T{x}^i)={\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_3+\cdots +{\theta }_n{x}_n$$
关于$\theta$求偏导，除了第$i$项外，其他的都是$0$
于是对${\theta }^T{x}^i$关于${\theta }_j$求偏导的结果为：
$$\frac{\partial ({\theta }^T{x}^i)}{\partial {\theta }_j}=x_j^j$$

$g({\theta }^T{x}^i)$关于$\theta$求偏导的结果就出来了：
$$\frac{\partial g({\theta }^T{x}^i)}{\partial {\theta }_j}=g({\theta }^T{x}^i)\cdot (1-g({\theta }^T{x}^i))\cdot x_j^j$$
$\frac{\partial \ln L(\theta )}{\partial {\theta }_j}$的偏导也出来了：
$$\begin{array}{rl}\frac{\partial \ln L(\theta )}{\partial {\theta }_j}& =\sum _{i=1}^m\left(\frac{y^i}{g({\theta }^T{x}^i)}-\frac{1-y^i}{1-g({\theta }^T{x}^i)}\right)\cdot \frac{\partial g({\theta }^T{x}^i)}{\partial {\theta }_j}\\ & =\sum _{i=1}^m\left(\frac{y^i}{g({\theta }^T{x}^i)}-\frac{1-y^i}{1-g({\theta }^T{x}^i)}\right)\cdot g({\theta }^T{x}^i)\cdot \left(1-g({\theta }^T{x}^i)\right)\cdot x_j^j\\ & =\sum _{i=1}^m\left(y^i\cdot \left(1-g({\theta }^T{x}^i)\right)-(1-y^i)\cdot g({\theta }^T{x}^i)\right)\cdot x_j^j\\ & =\sum _{i=1}^m\left(y^i-y^{i}g({\theta }^T{x}^i)-g({\theta }^T{x}^i)+y^{i}g({\theta }^T{x}^i)\right)\cdot x_j^j\\ & =\sum _{i=1}^m\left(y^i-g({\theta }^T{x}^i)\right)\cdot x_j^j\end{array}$$

OK,$L(\theta )$的极大似然估计就出来了，它与$\ln L(\theta )$取得极大值的位置是一样的，即：
$$\frac{\partial \ln L(\theta )}{\partial {\theta }_j}=\sum _{i=1}^m\left(y^i-g({\theta }^T{x}^i)\right)\cdot x_j^j$$
我们可以看下梯度下降法的公式：
$${\theta }_j={\theta }_j+\alpha \sum _{i=1}^m\left(y^i-h_{\theta }(x^i)\right)\cdot x_j^i$$
二者是不是很像呢？
然后我们就可以用梯度下降法来求解Logistic回归了。
写得实在是太长了，也实在是太久了，Logistic回归的损失函数和代码实现等有机会了再写吧。