机器学习之逻辑回归 Logistic Regression（一）

参考 http://blog.youkuaiyun.com/han_xiaoyang/article/details/49123419

一、逻辑回归

        逻辑回归是一个应用非常广泛的机器学习分类算法，它将数据拟合到一个logit函数中，从而完成对事件发生概率的预测。线性回归对连续值进行预测，现实生活中常见的另一类问题是分类问题。最直接的想法是，用线性回归预测出连续值结果，根据结果设定一个阈值进行分类。但很多实际的情况下，需要学习的分类数据并没有那么精准，线性回归+阈值的方式很难完成一个鲁棒性很好的分类器。

        在这样的场景下，逻辑回归诞生了。它的核心思想是，如果线性回归的结果输出是一个连续值，而值的范围是无法限定的，那是否可以把这个结果映射为(0, 1)上的概率值，帮助判断结果。sigmoid函数就是这样一个简单的函数：

        从函数图上可以看出，函数y=g(z)在z=0时为1/2，随着z逐渐变小，函数值趋于0，z逐渐变大时函数值趋于1。如果定义线性回归的预测函数为，那么逻辑回归的输出，其中y=g(z)正是上述sigmoid函数。
        直观地在二维空间理解逻辑回归，sigmoid函数的特性使得判定的阈值能够映射为平面的一条判定边界，当然随着特征的复杂化，判定边界可