机器学习04：Logistic 回归（逻辑回归）

机器学习04：Logistic 回归

Logistic 回归是一种分类算法

1 什么是分类？

举个例子：肿瘤有恶性肿瘤和良性肿瘤，根据肿瘤的不同特征，比如说大小，我们可以将肿瘤分为恶性肿瘤和良性肿瘤两类，这就是分类。用0表示良性肿瘤，用1表示恶性肿瘤，那么：
y∈{0,1} y\in\left\{0,1\right\} y∈{0,1}
在这个分类中，结果只能是0或1，但是假设函数$h_{\theta }(x\text{x}x)$可能大于1也可能小于0，为了使$h_{\theta }(x\text{x}x)$保持在$\left[0,1\right]$的范围内，我们引入Logistic 回归的Sigmoid 函数(也可以叫做Logistic 函数)：

2 Sigmoid 函数

Sigmoid 函数：
$$g(z)=\frac{1}{1+e^{-z}}$$
Sigmoid 函数的大致形状如下：

在线性回归中：
$$h_{\theta }(x\text{x}x)={\theta }^T\text{θT}{\theta }^{T}x\text{x}x$$
而在Logistic 回归中：
$$h_{\theta }(x\text{x}x)=g({\theta }^T\text{θT}{\theta }^{T}x\text{x}x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$

假设函数$h_{\theta }(x\text{x}x)$结果的含义

还是用上面肿瘤的例子，
$$h_{\theta }(x\text{x}x)=恶性肿瘤发生（结果为1）的概率$$
假如$h_{\theta }(x\text{x}x)=0.6$，那么我们可以认为，病人患恶性肿瘤的概率为0.6.
用概率表示为：
$$P(y=1|x\text{x}x;\theta \text{θ}\theta )=0.6$$
并且，
$$\begin{gathered} P(y=0|x\text{x}x;\theta \text{θ}\theta )+P(y=1|x\text{x}x;\theta \text{θ}\theta )=1 \\ P(y=0|x\text{x}x;\theta \text{θ}\theta )=1-P(y=1|x\text{x}x;\theta \text{θ}\theta ) \end{gathered}$$

3 决策边界

在Logistic 回归中，
$$\begin{gathered} h_{\theta }(x\text{x}x)=g({\theta }^T\text{θT}{\theta }^{T}x\text{x}x) \\ g(z)=\frac{1}{1+e^{-z}} \end{gathered}$$
假设$h_{\theta }(x\text{x}x)>0.5$时，$y=1$；$h_{\theta }(x\text{x}x)<0.5$时，$y=0$. 等价于${\theta }^T\text{θT}{\theta }^{T}x\text{x}x>0$时，$y=1$；${\theta }^T\text{θT}{\theta }^{T}x\text{x}x<0$时，$y=0$.

举个例子，假如我们要对下图中的坐标点进行分类，假如$h_{\theta }(x\text{x}x)=g({\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2)$，$\theta \text{θ}\theta =\left[\begin{array}{c}-3\\ 1\\ 1\end{array}\right]$（如何求解$\theta \text{θ}\theta$，将会在下面介绍）

那么当${\theta }^{T}x\text{x}x\text{θTxxx}{\theta }^{T}x\text{x}x=-3+x_1+x_2\ge 0$时，可以认为$y=1$，否则，$y=0$. 直线$-3+x_1+x_2=0$就是决策边界。

对于非线性的决策边界，假如$h_{\theta }(x\text{x}x)=g({\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_1^2+{\theta }_4{x}_2^2)$，$\theta \text{θ}\theta =\left[\begin{array}{c}-1\\ 0\\ 0\\ 1\\ 1\end{array}\right]$，那么当${\theta }^{T}x\text{x}x\text{θTxxx}{\theta }^{T}x\text{x}x=-1+x_1^2+x_2^2\ge 0$时，可以认为$y=1$，否则，$y=0$. 曲线$-1+x_1^2+x_2^2=0$就是决策边界。

当然，还会有更复杂的例子，不在一一说明。

4 代价函数

对于一个训练集，有$m$个样本。$x\in \left[\begin{array}{c}{x}_0\\ x_1\\ x_2\\ \cdot \cdot \cdot \\ x_n\end{array}\right]$，$x_0=1$，y∈{0,1}y\in\left\{0,1\right\}y∈{0,1}，$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$，如何确定$\theta \text{θ}\theta$，这就要用到代价函数。
代价函数：
$$\begin{gathered} J(\theta )=\frac{1}{m}\sum _{i=1}^{m}Cost(h_{\theta }(x^{(i)}),y^{(i)}) \\ Cost(h_{\theta }(x),y)=\frac{1}{2}(h_{\theta }(x)-y{)}^2 \end{gathered}$$
$$Cost(h_{\theta }(x),y)=\{\begin{array}{ll}-log(h_{\theta }(x)),& y=1\\ -log(1-h_{\theta }(x)),& y=0\end{array}$$
则，
$$\begin{gathered} J(\theta \text{θ}\theta )=\frac{1}{m}\sum _{i=1}^{m}Cost(h_{\theta }(x^{(i)}),y^{(i)}) \\ =-\frac{1}{m}[\sum _{i=1}^m{y}^{(i)}log{h}_{\theta }(x^{(i)})+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))] \end{gathered}$$
为了找到合适的$\theta \text{θ}\theta$，我们需要${\min }_{\theta }J(\theta \text{θ}\theta )$

5 梯度下降法求解 $\theta \text{θ}\theta$

$Repeat:$
$${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )$$
（批处理，同时更新)

上式中：
$$\frac{\partial }{\partial {\theta }_j}J(\theta )=\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$

6 多分类问题

上面我们所讨论的都是二分类问题，对于多分类的问题，我们可以转换成对多个二分类问题来解决。如下图所示：