1.预测“离散值”,如“好瓜”,“坏瓜”的学习任务叫做“分类”,预测连续值,如西瓜的熟度,叫做“回归”。
2.根据训练数据是否拥有标记信息,学习任务可分如“监督学习”(有明确的答案)和“无监督学习”(无明确的一个答案)。分类(分为二分类和多分类),回归(对应的正确答案不是明确的,而是一个数集)是前者的代表,聚类(机器自己分类)是后者的代表。
3.NFL定理:我们脱离具体问题,空泛谈论什么“什么学习算法更好”毫无意义,必须要具体问题具体来看。
4.归纳偏好中的奥卡姆剃刀:就是选择更简单,更简洁的做法。