机器学习总结(二)——逻辑斯谛回归和最大熵模型

---

一、逻辑斯谛回归

1. 逻辑斯蒂回归的优缺点

优点：计算代价不高，易于理解和实现，且若采用随机梯度上升法可以在线学习； 速度快，存储资源低。

缺点：可能容易欠拟合，分类精度不高，这个可能是因为我们无法找到足够的特征。只能处理两类分类问题，且必须是线性可分的；（在此基础上衍生出来的softmax可以用于多分类）

2. 与其它的分类算法比较

直接用线性回归做分类因为考虑到了所有样本点到分类决策面的距离，所以在两类数据分布不均匀的时候将导致误差非常大；逻辑斯蒂回归回归和SVM克服了这个缺点，前者采用将所有数据采用sigmod函数进行了非线性映射，使得远离分类决策面的数据作用减弱；后者则直接去掉了远离分类决策面的数据，只考虑支持向量的影响。

3. 逻辑斯蒂回归适合应用在什么场景

在我们的工业应用上，如果需要作出分类的数据拥有很多有意义的特征，每个特征（我们假设这些特征都是有效的）都对最后的分类结果又或多或少的影响，那么最简单最有效的办法就是将这些特征线性加权，一起参与到作出决策的过程中。比如预测广告的点击率，又比如从原始数据集中筛选出符合某种要求的有用的子数据集。

逻辑斯蒂回归还有一个优点，那就是它不是硬性地将分类结果定为0或者1，而