机器学习西瓜书--- 绪论学习笔记

• 模型与模式的区别

1.“模型”泛指从数据中学习到的结果，有文献用“模型”指全局性结果（例如一颗决策树）。

2.“模式”指局部性结果（例如一条规则）。

 

• 自顶向下与自底向上的区别

1.“自顶向下”是一般到特殊的过程。

2.“自底向上”是特殊到一般的过程。

 

• 版本空间

• • 每一个样例就是一个版本

 

• 偏好/偏好归纳

• • 机器学习在算法学习过程中对某种假设的偏好，称为“归纳偏好”。

 

• 奥卡姆剃刀

• • 奥科姆剃刀（Occam’s razor）是一种常用的、自然科学研究中最基本的原则，即“若有多个假设与观察一致，则选择最简单那个”。

 

• NFL（No Free Lunch Theorem，简称NFL定理）没有免费的午餐定理

• • NFL定理让我门清晰地认识到，脱离具体的问题，空泛的谈论“什么算法更好”毫无意义，因为若考虑所有潜在的问