机器学习学习笔记01

最新推荐文章于 2025-08-18 16:56:17 发布

原创最新推荐文章于 2025-08-18 16:56:17 发布 · 239 阅读

CC 4.0 BY-SA版权

文章标签：

2 篇文章

订阅专栏

介绍

作为机器学习（Machine Learning，一下简称ML）的入门级学员，急需要一本可以信赖的书籍来踏进ML的大门，经过多方询问和查询，选择了周志华的这本机器学习，在这里写下自己对这本书的学习笔记和一些见解，请各位指正。

对于一门新的学科，肯定会有很多新的专业术语，在我看论文的过程中深有体会，比如CNN、Faster CNN等，如果不搞清楚这些个术语，那只能是盲人摸象。

机器学习： 利用数据作为经验来改善系统自身的性能，从数据中产生“模型”；
数据集（data set）： D={x₁,x₂,…,x_m},x_i=（x_i1，x_i2,…,x_id),x_i∈χ，x_i是d维样本空间χ的一个向量；
训练集： 学得模型所用的数据；
测试集： 使用学得模型进行预测的数据；
分类（Classification）： 预测的结果是离散值，对样例{（ x₁，y₁）,（ x₂，y₂）,…（ x_m，y_m）}进行学习，建立映射f：χ→γ；二分类，γ={-1，+1}或者{0,1}，多分类γ>|2|;
回归（Regression）： 预测的结果是连续值,γ=R(实数集）；
监督学习（Supervised Learning）：样本拥有标记的学习，比如分类和回归；
无监督学习（Unsupervised Learning）：样本没有标记的学习，比如聚类，学习过程中自动形成的组（“簇”）；
泛化能力（Generalization）：学得的模型适用于新样本的能力；
假设空间：学习的过程中，属性可能的取值所形成的的假设，现实中，假设空间一般很大；另外，多个假设与训练集一致，即存在一个与训练集一致的“假设集合”，称之为“版本空间（Version Space）”；
归纳偏好：机器学习算法在学习过程中对某种类型假设的偏好；

奥卡姆剃刀（Occam’s razor）：是一种常用的，自然科学研究中最基本的原则，即“若有多个假设与观察一致，则选最简单的那个”；
没有免费的午餐定理：所有“问题”出现的机会相同、或所有问题同等重要，无论学习算法多聪明或者笨拙，它们的期望性能是相同的；此定理告诉我们，脱离具体问题，空泛的谈论“什么学习算法更好”毫无意义。
多释原则：主张保留与经验观察一致的所有假设。