专题：机器学习进阶之路——学习笔记整理

现将自己机器学习方面的学习笔记整理如下，后续还会继续更新：

1. 机器学习基本概念
2. 监督学习、非监督学习、批量学习、在线学习、基于实例学习、基于模型学习
3. 经验风险最小化与结构风险最小化
4. 模型评估与选择（留出法、交叉验证法、查全率、查准率、偏差、方差）
5. 线性回归原理推导与算法描述
6. 最优化方法：梯度下降法
7. 一文读懂正则化与LASSO回归，Ridge回归
8. 逻辑斯蒂回归原理推导与求解
9. 多项逻辑斯蒂回归/softmax回归推导与求解
10. 决策树生成与剪枝详解
11. 决策树详解之分类与回归树（CART）
12. 集成学习概述
13. Bagging与随机森林原理与算法描述
14. Boosting与AdaBoost分类与回归原理详解与公式推导
15. Stacking与K折交叉验证
16. 深入剖析梯度提升决策树(GBDT)分类与回归
17. LP距离、欧式距离、曼哈顿距离、切比雪夫距离
18. K近邻法（KNN）与kd树原理详解
19. K-Means聚类及其变体
20. 深入剖析主成分分析（PCA）与协方差矩阵
21. 非线性降维与核主成分分析KPCA
22. 基于密度的聚类DBSCAN
23. 特征选择（过滤式、包裹式、嵌入式）
24. 感知机原理详解
25. 神经网络详解
26. 拉格朗日乘子法
27. 二次规划
28. 支持向量机原理与序列最小最优化算法SMO