【机器学习】(西瓜书)第1章 绪论 & 第2章 模型评估与选择

一、 绪论

1. 什么是机器学习（Machine Learning）？

致力于研究如何通过计算的手段，利用数据（经验）来改善系统自身的性能。

主要研究内容：是关于在计算机上从数据中产生“模型”（model）的算法，即“学习算法”（learning algorithm）——将经验数据提供给学习算法，学习算法就能基于数据产生模型；在面对新的情况时，模型会给我们提供相应的判断。（模型泛指数据中学到的结果。）

2. 基本术语

data set: 数据集，数据记录的集合。

 

sample(or instance): 样本，每条数据记录（关于对象或事件的描述）。

feature(or attribute): 特征，事件或对象的性质。

attribute value: 属性值。

sample space(or attribute space): 属性空间，样本空间，或者为输入空间。

feature vector: 特征向量。将对象或事件的性质features作为坐标轴，假设西瓜的三个属性为三个坐标轴，生成三维空间，则每个西瓜都能在这个空间中找到一个坐标点。而在该空间中，每个点就是一个特征向量。

从数据中执行某个学习算法学得模型的过程称为“学习（learning）”或“训练（training）”。

training data: 训练数据，即训练过程中使用的数据。

training sample: 训练样本，即训练数据中的每个样本。

training set: 训练集，即训练样本组成的集合。

hypothesis: 假设，学得模型对应了关于数据的某种潜在的规律。

为了使得模型具有判断预测（prediction）的好坏，还