逻辑回归（一）

逻辑回归这个名字听起来与线性回归有一定的相似，因为有回归二字。实际上，逻辑回归与线性回归没有什么关系，逻辑回归是分类模型的一种，对于任意的(x_i,y_i)， y_i的取值为(0,1)。本文主要从机器学习角度来阐述逻辑回归模型，有些地方会兼顾统计学。
逻辑回归是用sigmoid函数将其值域压缩到0，1之间。逻辑回归的输出值是概率值（可以理解为特定事情的发生概率），可设定阈值将其分成两类，默认阈值是0.5。本文范围中的阈值都是0.5。sigmoid是机器学习中的说法，统计学中是利用发生比（odds）的自然对数(logit)来处理，结果是一致的。
Sigmoid函数是：

逻辑回归的函数：

之前的文章中有提到指数分布族，在逻辑回归中的含义是，对于每一个x_i，y_i的分布是二项分布（伯努利分布）。使用python里面的sklearn中的广义线性模型来估计逻辑回归时，一般选择的分布是伯努利分布。
一、 决策边界
决策边界分为线性决策边界和非线性决策边界。

线性决策边界：

对于以上的z(x)，z(x)≥0，对应θ^T x≥0；z(x)<0，对应θ^T x<0。此时的决策边界是线性决策边界。二维的情