ML_aPP：8.Logistic regression笔记

Logistic回归对于{0，1}分类有很好的效果；Logistic model 算是Generalized Linear Model中的一类。 

本章目录：

sigmoid函数

p(y=1|x,w)>0.5预测y=1;否则预测y=0.下面两个图中的分类可以展示Logistic的魔力。

8.2 Model specification

p(y=1|x,w)可以看成一次试验的成功的概率，所以有下面的分布形式：

sigmoid函数在参数w是二维时的图像

=================================================

8.3 Model Fitting

本节讨论Logistic回归的参数估计

以下的推导使用了一些小技巧，另外Hessian阵是对称的，对f(w)不同分类wi,wj先后求导结果相同，故求Hessian阵时对g的转置求导亦得到正确结果。

注意：ui =p(y=1|xi,w) ；g=X'(u-y)中的y∈{0 1}；

另外：

可以看到，不像线性回归，这时候，很难得到w的解析形式。故需要使用优化的手段来求解w的数值解。

数值解的部分，略去。过段时间<2013/01/10的样子>写篇《机器学习中的优化方法》，统一处理了。

8.3.4 迭代加权最小二乘

使用Newton公式：

算法8.2

计算Hessian阵可能是费时的，在优化的研究里面提出了共轭梯度等方法。

8.3.6 l2正则化<l2 regularization>

正则化在分类中很重要。

8.3.7  多类别Logistic回归<Multi-class logistic regression>

以上讨论都是binary logistic regression，以下讨论多类别回归。

参数估计等。

=================================================

8.4 Bayesian logistic regression

略。

8.5 Online learning and stochastic optimization

对于流数据需要使用在线学习在处理。在offline learning情况中如果data太大不能一次性装入内存，就可以使用online learning技术来学习。

略。

8.6 Generative vs discriminative classifiers

略。