机器学习基础，过拟合和欠拟合，容量与泛化能力

一、泛化

机器学习的主要挑战在于未见过的数据输入上表现良好，这个能力称为泛化能力。我们量化一下模型在训练集和测试机上的表现，将其分分别称为训练误差和测试误差。后者常称为泛化误差。可以这样说：理想的模型就是在最小化训练误差的同事，最小化泛化误差。

决定机器学习算法是否好的因素就是：

1）降低训练误差

2）缩小训练误差和测试误差的差距

这两大因素，分别对应了机器学习的两大挑战：过拟合和欠拟合

二、过拟合和欠拟合

机器学习中我们评价Model好坏一个重要指标就是泛化能力。如果模型在训练集合中表现很差，在测试集合中表现很差，我们就称之为欠拟合（Underfitting）模型在数据的训练集合中表现良好，在测试数据中也表现的良好。如果只是在训练数集中表现好，但在测试中表现不好，我们就称为过拟合（Overfitting）

比如我们通过学习身高和体重的数据建立一个模型，你给我一个体重模型预测出一个人的身高。

 

如图，我们知道了一堆的身高和体重的数据。我们先将数据分为两部分，一部分是Train Set（绿点），另一部分是Test Set（蓝点）。我们不知道选什么模型好，我们先尝试最简单的线性回归（Linear Regression），显然，这并不是一个好的选择，因为当体重超过一定值的时候，身高就不长了。此时，线性回归模型无法有效捕获数据特征。我们称为欠拟合（Overfitting）。这种模型的Inability 我们称为Bias，即模