《机器学习实战》总结与笔记

监督学习

KNN

优点：精度高、对异常值不敏感、无数据输入假定。
缺点：计算复杂度高、空间复杂度高。
适用数据范围：数值型和标称型。
应用：约会网站数据

决策树

优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。
缺点：可能会产生过度匹配问题。
适用数据类型：数值型和标称型。
应用：隐形眼睛种类选择数据

朴素贝叶斯

优点：在数据较少的情况下仍然有效，可以处理多类别问题。
缺点：对于输入数据的准备方式较为敏感。
适用数据类型：标称型数据。
应用：过滤恶意留言、过滤垃圾邮件

Logistic回归

优点：计算代价不高，易于理解和实现。
缺点：容易欠拟合，分类精度可能不高。
适用数据类型：数值型和标称型数据。
应用：病马的死亡率

支持向量机

优点：泛化错误率低，计算开销不大，结果易解释。
缺点：对参数调节和核函数的选择敏感，原始分类器不加修改仅适用于处理二类问题。
适用数据类型：数值型和标称型数据。
应用：手写体数据库

Adaboost

优点：泛化错误率低，易编码，可以应用在大部分分类器上，无参数调整。
缺点：对离群点敏感。
适用数据类型：数值型和标称型数据。
应用：病马的死亡率

回归

线性回归

优点：结果易于理解，计算上不复杂。
缺点：对非线性的数据拟合不好。
适用数据类型：数值型和标称型数据。
应用：预测鲍鱼年龄

线性回归

加权局部线性回归

岭回归

（解决线性回归不可逆的问题）

lasso、前向逐步回归（可以特征选择）

树回归

优点：可以对复杂和非线性的数据建模。
缺点：结果不易理解。
适用数据类型：数值型和标称型数据。

笔记：模型树、回归树

无监督学习

K均值聚类

优点：容易实现。
缺点：可能收敛到局部最小值，在大规模数据集上收敛较慢。
适用数据类型：数值型数据。

应用：地图坐标点聚类

笔记：二分K均值聚类

Apriori关联分析

优点：易编码实现。
缺点：在大数据集上可能较慢。
适用数据类型：数值型或者标称型数据。

笔记：支持度（用于发现频繁项集）、置信度（用于发现关联规则）

其它总结

7.bagging，数据不平衡问题

参考

《机器学习实战》