机器学习常见算法个人总结（面试用）

最新推荐文章于 2024-05-02 20:19:05 发布

转载最新推荐文章于 2024-05-02 20:19:05 发布 · 1.2k 阅读

文章标签：

#机器学习 #算法 #面试

数据科学--算法专栏收录该内容

8 篇文章

订阅专栏

本文全面总结了多种机器学习算法，包括朴素贝叶斯、逻辑回归、KNN、SVM、决策树、随机森林、GBDT等，详细介绍了每种算法的工作原理、应用场景及优缺点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录
1. 朴素贝叶斯
1.1. 工作原理
1.2. 工作流程
1.3. 属性特征
1.4. Laplace校准(拉普拉斯校验)
1.5. 遇到特征之间不独立问题
1.6. 优缺点
2. 逻辑回归和线性回归
2.1. 梯度下降法
2.2. 其他优化方法
2.3. 关于LR的过拟合问题：
2.4. 关于LR的多分类：softmax
2.5. 关于softmax和k个LR的选择
3. KNN算法
3.1. 三要素：
3.2. k值的选择
3.3. KNN的回归
3.4. 优缺点：
3.5. KD树
3.5.1. 构造KD树
3.5.2. KD树的搜索
3.5.3. KD树进行KNN查找
3.5.4. KD树搜索的复杂度
4. SVM、SMO
4.1. 线性SVM问题
4.1.1. 对偶求解
4.2. 损失函数
4.3. 为什么要引入对偶算法
4.4. 核函数
4.5. SVM优缺点
4.6. SMO
4.7. SVM多分类问题
5. 决策树
5.1. ID3
5.2. C4.5
5.3. Cart
5.4. 停止条件
5.5. 关于特征与目标值
5.6. 决策树的分类与回归
5.7. 理想的决策树
5.8. 解决决策树的过拟合
5.9. 优缺点
6. 随机森林RF
6.1. 学习过程
6.2. 预测过程
6.3. 参数问题
6.4. 泛化误差估计
6.5. 学习算法
6.6. 关于CART
6.7. 优缺点
7. GBDT
7.1. Shrinkage
7.2. 调参
7.3. 优缺点：
8. BP
9. 最小二乘法
 10. EM
11. Bagging
12. Boosting
13. 凸优化
13.1. 凸集
13.2. 凸函数
13.3. 凸优化应用举例
14. 参考
 15. 备注