监督学习 | 线性分类 之Logistic回归原理及Sklearn实现

相关文章：

机器学习 | 目录

监督学习 | 线性回归 之多元线性回归原理及Sklearn实现

监督学习 | 非线性回归 之多项式回归原理及Sklearn实现

监督学习 | 线性回归 之正则线性模型原理及Sklearn实现

1. Logistic 回归

我们之前讨论了如何用线性模型进行回归，但若要做的是分类问题怎么办？其实只需要找一个单调可微函数将分类任务的真实标记 $y$ 与线性回归模型的预测值 $z$联系起来。

考虑二分类任务，其输出标记 y ∈ { 0 , 1 } y\in \{0,1\} y∈{ 0,1} ，而线性回归模型产生的预测值 $z={\mathbf{w}}^T\mathbf{x}+b$ 是实值，于是，我们只需将实值 $z$ 转换为 0/1 值。最理想的是“单位阶跃函数”（unit-step function）：

$$y=\{\begin{array}{rlr}& 0,& z<0\\ & 0.5,& z=0\\ & 1,& z>0\end{array}\text{\hspace{1em}(3)}$$

即若预测值 $z$ 大于零就判为正例，小于零就判为反例，预测值为临界值零则可任意判断，如下图所示：

图1 单位阶跃函数与对数几率函数

但如图所示，单位阶跃函数不连续，所以我们希望找到能在一定程度上近似单位阶跃函数的“替代函数”（surrogate function），并希望它单调可微，对数几率函数正是这样一个常用的替代函数。

1.1 Logistic 函数

对数几率函数（Logistic function）是一种“Sigmoid 函数”，它将 $z$ 值转化为接近 0 或 1 的 $y$ 值，并且其输出值在 $z=0$ 附近变化很陡。

对数几率函数:
$$f(z)=\frac{1}{1+e^{-z}}\text{\hspace{1em}(1)}$$

将 $z={\mathbf{w}}^T\mathbf{x}+b$ 代入得：

$$p=\frac{1}{1+e^{-({\mathbf{w}}^T\mathbf{x}+b)}}\text{\hspace{1em}(2)}$$

移项并取对数得：

$$ln(\frac{p}{1-p})={\mathbf{w}}^T\mathbf{x}+b\text{\hspace{1em}(3<}$$