机器学习笔记---给“过拟合”下一个准确且规范的定义

点击上方“潜心的Python小屋”关注我们，第一时间推送优质文章。

前言

大家好，我是潜心。由于在小组会上提到了“过拟合”现象，发现自己很难给它下一个标准且规范的定义。因此查了一些资料，并简单做了下实验，进行简单整理。

本文约3k字，预计阅读15分钟。

过拟合与欠拟合

以一个简单的线性回归开始

简单的线性回归能够直观的反应过拟合和欠拟合的现象。首先我们随机生成若干个符合某二次多项式函数的点，并加入噪声，作为训练集。然后我们使用三个简单的线性模型（1次项回归，2次多项式回归、5次多项式回归）【注：多次项回归本质来说还是一个线性模型】来进行拟合，最后可视化，如下图所示。

我们发现，1次项的模型结构简单，但拟合结果其他二者更差，无法捕捉数据中的规律，所以该模型出现了欠拟合的现象。

5次多项式回归的全部特征为： （此处我们在最简单的线性回归中只使用了1个特征