机器学习笔记（序章）

   一、基本概念

   机器学习致力于研究如何通过计算的手段，利用经验改善系统自身性能。在计算机系统中，“经验”通常以“数据”的形式存在，因此，机器学习所研究的主要内容，是关于计算机从数据上产生模型的算法，即“学习算法”。

   二、基本术语

   假设我们收集到了一组关于机械切削的数据，例如（切削深度deep=5.8，切削宽度width=10.9，主轴转速n=2000，进给率f=150）。一对括号内是一条记录，“=”意思是取值为。所有记录的集合称为一个数据集，每条记录即对应一个对象或者说示例，切削深度与切削宽度等是对象的属性或者说特征。

   从数据中学得模型的过程称为learning or training 。训练过程中使用的数据称为“训练数据”，其中每一个样本称为“训练样本”，学得模型后，使用其进行预测的过程称为“测试”，被预测的样本称为“测试样本”。例如在学得f后，对于示例x，可得其预测y=f（x）。

   根据训练数据有无标记信息，学习任务可以大致分为两大类：“监督学习”（分类和回归）和“无监督学习”（聚类）。

   三、假设空间

   归纳与演绎是科学推理的两大基本手段，前者是从特殊到一般地“泛华”过程，后者是从一般到特殊的“特化”过程，而从样例中学习显然是一个归纳学习的过程。我们可以把学习过程看做一个在所有假设组成的空间中进行搜索的过程，搜索目标是找到与训练集匹配的假设。