机器学习笔记（1） -- 逻辑回归(Logistic Regression)

1、描述

逻辑（Logistic）回归是分类算法中最基础也是最重要的手段，因此，掌握其内在原理是非常必要的。逻辑回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分问题（即结果要么是0，要么是1）。

2、初识

逻辑回归是在线性回归的基础上，将线性模型通过一个函数，转化为结果只有0/1的分类模型。其建模过程与线性回归相似：
①寻找预测函数
②构造代价函数
③使得代价函数最小并求得回归参数
线性回归能对连续值结果进行预测，而现实生活中常见的另外一类问题，分类问题。最简单的情况是0/1的二分类问题。比如，医生需要判断病人肿瘤是良性的还是恶性的、判断一封电子邮件是否是垃圾邮件，以及Kaggle上的Titanic生存预测判断一个人的生存情况。

如果我们要用线性回归算法来解决一个分类问题，对于分类，y 取值为 0 或者 1，但
如果你使用的是线性回归，那么假设函数的输出值可能远大于 1，或者远小于 0，即使所有
训练样本的标签 y 都等于 0 或 1。尽管我们知道标签应该取值 0 或者 1，但是如果算法得
到的值远大于 1 或者远小于 0 的话，就会感觉很奇怪。所以我们在接下来的要研究的算法就
叫做逻辑回归算法，这个算法的性质是：它的输出值永远在 0 到 1 之间。

在这里我我们借用Andrew Ng老师上课中的例子，下图X为数据点肿瘤的大小，Y为观察结果是否为恶性肿瘤。通过构建线性回归模型，如hθ(x)所示，构建线性回归模型后，设定一个阙值0.5