【机器学习-周志华】阅读笔记-第一、二章

最新推荐文章于 2024-10-04 22:14:57 发布

原创最新推荐文章于 2024-10-04 22:14:57 发布 · 387 阅读

CC 4.0 BY-SA版权

文章标签：

本人大三，专业为大数据方向，为使自己在阅读过程中对内容理解更为深刻，现将阅读过程记录下来。若有谬误，感谢指正。

第一章-绪论

本章主要讲解了机器学习的基本概念，如分类、回归；聚类等。介绍了机器学习的发展历程以及现状。

机器学习是通过“经验”获得“学习算法”，通过不显示编程，而让计算机获得解决问题的能力。

这里着重理解“机器学习”、“数据挖掘”的联系：数据挖掘是从海量数据中发掘知识，这就涉及对“海量数据”的管理和分析。数据库领域的研究为数据挖掘提供数据管理技术，机器学习和统计学的研究为数据挖掘提供数据分析技术。机器学习和数据库领域是数据挖掘的两大支撑。

重要概念解释：

误差与过拟合，误差是由于学习不充分而导致的在训练集上的“欠拟合”（underfitting），使得模型在判断上错误率较高。而“过拟合”（overfitting）则是由于对训练集了解过于充分，导致判断较为死板，相对于欠拟合较难解决。

评估方法：

1. 留出法 将集合分割为互斥的子集，进行若干次划分，分别进行计算。

2. 交叉验证法 将集合划分为n个。分别将每一个子集作为测试集，计算n次。也称为n折交叉验证示意图。

3. 自助法 将集合随机采样，建立一个新的测试集，而使用原集合进行计算。即留出法和交叉验证法都已集合的一部分作为测试集，而使得训练集有部分损失；而自助法使用全集进行训练，避免了规模不同造成的影响，能比较高效的进行试验估计。（适合数据集较小、难以有效划分训练/测试集的场景）

调参即参数调整，通过使用适合的参数，能够使模型获得较好的泛化性能

性能度量：

错误率、精度（和为1）

查准率（Precision）在预测样例的正例中，有多少是准确的（真正例） $P=TP/(TP+FP)$

查全率（Recall）在正例中，有多少被预测正确。 $R=TP/(TP+FN)$

在不同的应用中，对于这两个指标的重视程度不同，在广告推送中，希望更少地打扰用户，更重视查准率；而在逃犯信息检索系统中，不希望漏过任何嫌疑犯，则更重视查全率。

真正例率（Ture Positive Rate）在正例中，有多少被预测正确 $TPR=TP/(TP+FN)$

假正例率（False Positive Rate）在反例中，有多少被预测为正例（预测错误） $FPR=FP/(TN+FP)$

这两个指标能够较全面地反应这分类结果混淆矩阵。

通过P-R曲线、ROC曲线，我们可以得出一个学习器的性能，通常认为曲线下方面积较大的学习器性能较好。

检验方法较为赘述，不做总结。

偏差-方差 可描述算法的泛化性能

泛化误差可分解为偏差、方差与噪声之和。