最大似然估计与逻辑回归

逻辑回归与最大似然估计

机器学习中用最大似然估计法根据样本来估计给定模型的最佳参数

逻辑回归(LR)用于二分类问题，主要思想就是用最大似然概率方法构建出方程，最大化方程，利用梯度下降法求解方程参数。

先来看下Sigmoid函数

逻辑回归借助于Sigmoid函数

  

为了与大部分人的写法一致，将β换成θ，令

则

则事件发生的总概率为

y只能为0或1，当y=0，第一项就没了。当y=1时，第二项就没了。

然后转化成似然函数

我们目的求L(θ)的最大值，先求一阶偏导数

可以求自然对数来简化方程，令

则

 

 

 

求偏导数

 

则

…      

此时用梯度下降求解方程参数，梯度下降法参考上篇文章

参考连接

http://blog.youkuaiyun.com/bingduanlbd/article/details/24384771

http://blog.youkuaiyun.com/csqazwsxedc/article/details/69690655