Logistic Regression 逻辑回归Matlab实现

这个学期选修了机器学习，一个作业就是实现逻辑回归

逻辑回归需要的三个东西

1、回归模型

2、判断学习结果和训练集的差距(Distance)的Cost Function

3、如何去优化模型中的参数，让Cost Function的值达到我们的要求

这里用我平常见到的二类回归问题来举例。

1、为什么这里要使用P(Y=0|X)=1/(1+exp(w0+w1*X))        P(Y=1|X)=exp(w0+w1*X)/(1+exp(w0+w1*X))  来作为模型呢，一个原因就是好用，方便（现阶段个人理解）。

2、选定了回归模型之后就可以确定代价函数了，或者是最大条件似然的表达式。

      代价函数的确定的准则就是如果出现的偏差越大，相应的函数值会越高，因此最后目标是将这个函数优化到最小。

      最大条件似然说白了就是找到最匹配训练集的(w0,w1)，这个比较直观，直接在给定X,w的情况下给出分成各类的概率，然后求积，优化目标是让这个积尽可能地大。

     其实两种衡量方式的目标一样，都是让模型尽可能地去拟合数据集

3、如何去优化模型的参数了，常见的就是梯度下降法了。