机器学习1：绪论

@[TOC]

#绪论

##1.1基本术语

##1.2假设空间

##1.3归纳偏好

  绪论

1.1基本术语：

    1.数据集:可类比数学中的集合，集合中的每一个元素称为样本，而每个样本有各自属性和特征。

    2.训练(学习):通过将数据集(训练集)的样本(训练样本)执行某个学习算法后，得到了对应某个规律(亦称为真相)的模型(假设),所以训练就是不断接近"真相(得出规律)"的过程，因此，训练的样本越多越准确，训练的结果越靠近真相。

   3.预测:就是通过输出作为样例(答案),由答案"定位"训练样本的对错，而所有的样例称为"标记空间(输出空间)".

   4.分类与回归(输出--监督学习:可预测，就是有"答案"):分类是"固定"，如判断题的对错，红绿灯的红黄绿等，结果是明确的。回归可以类比数学中函数的求解，通过对足够的点(样例)进行分析从而得出回归函数。

   5.测试:对得出的模型进行预测，被预测的样本称为预测样本。

   6.聚类(通常在非监督学习中出现):将样本的元素通过某些相同的属性或特点进行分类，每一类称为簇

1.2假设空间

   1.归纳:从特殊到一般的“泛化"(像样本跑模型的过程)。

   2.演绎:从一般到特殊的"特化"(像跑好的模型代入测试样本的过程).

1.3归纳偏好

由于采用不同的属性和特点得到的模型对同一样本的输出不同，所以，必须产生一个模型，其算法有"偏好",而这种偏好可以让其对输出具有确定性。而这种对某种类型假设的偏好称为"归纳偏好"。在算法中，"偏好"可以看作价值观，而这个价值观需要“原则”，来确定(如奥卡姆剃刀:若有多个假设与观察一致，则选择最简单的那个)。注意，算法的归纳偏好是否与问题本身相匹配大多时候直接决定的算法的性能，所以，对"原则"的选择要慎重。NFL定理:所有的"问题"出现的的机会相同，或所有的问题同等重要，然而，事实往往不是如此，比如，假设1:眼睛大鼻子翘是好看的人，假设2:眼睛细鼻子扁是好看的人，根据NFL,对人的审美来说假设1和2更好的机会相同，然而对人的审美来说，明显假设1的机会更大。