理解逻辑斯蒂回归模型

逻辑斯蒂回归是一个非常经典的二项分类模型，也可以扩展为多项分类模型。其在应用于分类时的过程一般如下，对于给定的数据集，首先根据训练样本点学习到参数w,b;再对预测点分别计算两类的条件概率，将预测点判为概率值较大的一类。

1、线性模型
逻辑斯蒂回归属于对数线性模型，那什么是对数线性模型？首先我们介绍下线性模型。
给定包含d个属性的变量x=($x_1,x_2,...,x_d$),$x_i$表示在第i个属性上的取值，线性模型通过学得一个对属性分量的线性组合来进行预测的函数，即：

$f(x)=w_1x_1+w_2x_2+\cdots+w_dx_d+b$

写成向量形式为：

$f(x)=w^Tx+b$

线性模型形式简单，易于建模，很多不错的非线性模型都是以线性模型为基础，通过层次组合或高维映射形成。此外，向量w作为各分量的权值，可以很直观地解释各属性在模型分类中的重要性，例如：

$f_{好瓜}=0.2\cdot x_{色泽}+0.5\cdot x_{根蒂}+0.3\cdot x_{敲声}$ +1

显然，根蒂对判断是否为好瓜的影响最大。
当我们给定样例点$(\mathbf {x,y})$， 若线性模型对给定样本点的预测值