机器学习之——逻辑回归

在讨论逻辑回归问题(Logistic Regression)之前，我们先讨论一些实际生活中的情况：判断一封电子邮件是否是垃圾邮件？判断一次交易是否是欺诈交易？判断一份文件是否是有效文件？这类问题，我们称之为分类问题(Classication Problem)。在分类问题中，我们往往尝试去预测的结果是否属于某一个类（正确活错误）。

我们从二元的分类问题开始讨论，即问题是正确或错误的。

我们将因变量(Dependent Variable)可能属于的两个类分别称为负向类(Negative Class) 和正向类(Positive Class)，则因变量：

其中，0表示负向类，1表示正向类

我们假设预测一个肿瘤是否为恶性肿瘤的分类问题(Malignant or Benign)，我们假设肿瘤的恶性或良性与肿瘤大小的关系，可以用线性回归的方法求出适合数据的一条直线：

根据线性回归模型，我们只能预测到连续的值，然后对于分类问题，我们只需要输出0或1即可，我们可以预测：

对于上图所示的数据，这样的一个线性模型似乎能很好地完成分类任务。假设我们又观察到一个尺寸非常大的恶性肿瘤，将其加入到我们的训练集中作为一个新的实例，那么将对我们的线性模型有一定影响，获得一条新的直线。

这时候，再使用0.5作为阈值来预测肿瘤是良性还是恶性，就显得不那么合适了。可以看出来，线性回归模型，因为其预测的值可以超越[0，1]的范围，所以并不适合解决这样的问题。

我们引入一个新的模型，逻辑回归，该模型的输出变量范围适中在0和1之间。

逻辑回归模型的假设是：

其中，解释一些标识：

该函数的图像为：

将逻辑函数和假设函数合起来，便得到了逻辑回归模型的假设：

对于模型，可以有以下的理解：

hø(x)的作用是，对于给定的输入变量，根据选择的参数计算输出变量=1的可能性(Estimated Probablity)，即：

举个例子，如果对于给定的x，通过已经确定的参数计算得出hø(x)=0.7，则表示有百分之七十的概率y为正向类，相应的，y为负向类的概率为百分之三十(1-0.7=0.3)。

如上，便是逻辑回归模型。下一次我们讨论判定边界(Decision Boundary)和代价函数(Cost Function)。