【AI人工智能】：白话机器学习之（三）逻辑回归，附全套人工智能学习资料礼包！

概述

前面讲述了线性回归，线性回归的模型 y=wT+by = w^T + by=wT+b。模型的预测值逼近真实标记y。那么可否令模型的预测值逼近真实标记y的衍生物呢。比如说模型的预测值逼近真实标记的对数函数。下面引入逻辑回归的知识。

首先庆祝大家1024程序员节日快乐！！

文末有福利！

转换函数

我们需要一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来，所以需要一个转换函数将线性模型的值与实际的预测值关联起来。 考虑二分类问题，其输出标记是y属于{0，1}，而线性模型产生的预测值是z=wT+bz = w^T + b z=wT+b是实值，那么我们需要将这个实值转化成0/1值，最理想的函数是单位阶跃函数。

单位阶跃函数

单位阶跃函数（unit-step function），如下图，如果预测值大于零则判断为正例；如果预测值小于零则判断为反例；为零的则任意判断。如下图所示。

\begin{equation} y = \begin{cases} 0 & \mbox{if z < 0}\\ 0.5 & \mbox{if z = 0} \\ 1 & \mbox{if z > 0} \end{cases} \end{equation}

sigmoid function

从图中可以看出，单位阶跃函数不连续因此不适合用来计算。这里我们引入sigmoid函数，进行计算。

y=11+e−zy = \dfrac{1}{1 + e^{-z}}y=1+e−z1​

将z值转化为一个接近0或1的y值，并且其输出值在z=0的附近变化很陡。那么我们现在的模型变化成

y=11+e−(wT+b)y = \dfrac{1}{1 + e^{-(w^T + b)}}y=1+e−(wT+b)1​

几率与对数几率

几率：如果将y作为正例的可能性，1-y作为负例的可能性，那么两者的比值y1−y \dfrac{y}{1 - y}1−yy​称为几率，反应了x作为正例的相对可能性。则根据sigmoid函数可得。

lny1−y=wT+b ln\dfrac{y}{1 - y} = w^T + bln1−yy​=wT+b

lny1−y ln\dfrac{y}{1 - y}ln1−yy​称为对数几率；

**由此可以看出，y=11+e−(wT+b)y = \dfrac{1}{1 + e^{-(w^T + b)}}y=1+e−(wT+b)1​实际上是用线性模型的预测结果去逼近真实标记的对数几率，因此