机器学习实战第五章 - Logistic回归（包括GD和SGD的比较）

一，Logistic回归

• 优点：计算代价不高，易于理解和实现。
• 缺点：容易欠拟合，分类精度可能不高。
• 适用数据类型：数值型和标称型。

主要就是利用sigmoid函数$\sigma(z)=\frac{1}{1+exp^{-z}}$的特点，如下图所示：

令$z=W^TX$,如果$z>0$即$\sigma(z)>0.5$，就将该样本分为1类；如果$z<0$即$\sigma(z)<0.5$，就将该样本分为0类。

关键是如何利用训练数据找到最佳的模型参数$W$。

二，模型参数估计

利用极大似然估计法来估计模型参数。
过程如下：

1. 首先假设 P(Y=1|x)=π(x),P(Y=0|