【AI概念】过拟合（Overfitting）vs 欠拟合（Underfitting）详解 | 他们有什么区别？|定义、数学表达、几何直观、典型案例、成因、检测方法以及工程应对策略|偏差方差权衡、正则化

人工智能AI酱

于 2025-06-24 22:47:22 发布

阅读量1.1k

点赞数 27

CC 4.0 BY-SA版权

分类专栏：【AI概念】专栏系列文章标签：人工智能 python 机器学习 ai 过拟合欠拟合协方差

本文链接：https://blog.youkuaiyun.com/ai_aijiang/article/details/148880474

【AI概念】专栏系列专栏收录该内容

25 篇文章

订阅专栏

大家好，我是爱酱。本篇将会系统讲解机器学习中最常见、最容易混淆的两个概念：过拟合（Overfitting）与欠拟合（Underfitting）。内容包括定义、数学表达、几何直观、典型案例、成因、检测方法以及工程应对策略。每部分都会详细展开，适合初学者和进阶者系统理解。

注：本文章含大量数学算式、详细例子说明及大量代码演示，大量干货，建议先收藏再慢慢观看理解。新频道发展不易，你们的每个赞、收藏跟转发都是我继续分享的动力！

一、什么是过拟合与欠拟合？

1. 过拟合（Overfitting）

定义：模型在训练集上表现极好，但在新数据（测试集）上表现很差。即模型“记住了”训练集的噪声和细节，却没有学到数据的本质规律。
像现实你在考试前背书，的确背好了，能够应付这次考试，但其实对其他考试一窍不通。因为没有了解到背的内容，因此面对其他试题的时候无法融会贯通。
常见现象：训练误差极低，测试误差很高。

2. 欠拟合（Underfitting）

定义：模型在训练集和测试集上都表现不好，无法捕捉数据的主要趋势或规律。即模型“太简单”，无法拟合数据的真实分布。
常见现象：训练误差和测试误差都很高。

二、数学表达与几何直观

1. 损失函数与泛化误差

假设 $L_{train}$ 为训练集损失， $L_{test}$ 为测试集损失。
- 过拟合： $L_{train} \ll L_{test}$
- 欠拟合： $L_{train}$ 和 $L_{test}$ 都很高
数学公式：

其中Training Error为训练误差，Testing Error为测试误差， $\ell(\cdot)$ 为损失函数。

2. 几何直观

欠拟合：模型曲线太“直”，无法贴合数据趋势（如用一条直线拟合明显的曲线分布）。
过拟合：模型曲线“拐弯太多”，紧贴每个训练点，甚至拟合了噪声（如高阶多项式穿过所有点，但预测新点效果很差）。

三、典型欠拟合及过拟合案例

1. 欠拟合示例

用一阶线性模型拟合二次函数数据，模型无法捕捉数据的弯曲趋势，训练和测试误差都高。

2. 过拟合示例

用高阶多项式拟合有限的数据点，模型在训练集上穿过所有点，但在测试集上表现极差。

四、成因分析

1. 过拟合的常见原因

模型复杂度过高（如高阶多项式、深层神经网络）。
训练数据量太少，模型容易记住噪声。
特征过多，缺乏正则化。
训练轮数过多，模型“死记硬背”训练集。

2. 欠拟合的常见原因

模型太简单（如线性模型拟合非线性数据）。
特征不足或特征表达能力弱。
训练不足，未收敛。
正则化过强，抑制了模型学习能力。

五、如何检测过拟合与欠拟合？

1. 训练误差与测试误差对比

过拟合：训练误差低，测试误差高，二者差距大。
欠拟合：训练误差和测试误差都高，且差距小。

可视化方法：

绘制“学习曲线”（Learning Curve），横轴为训练样本数量，纵轴为误差。
过拟合时，训练误差随样本增多保持很低，测试误差较高且不下降。
欠拟合时，两条曲线都高且接近。

2. 交叉验证

使用K折交叉验证评估模型在不同数据划分下的表现。
过拟合时，交叉验证得分波动大，泛化能力差。
欠拟合时，所有折的得分都很低。

3. 模型复杂度与表现关系

通过调整模型复杂度（如多项式次数、神经网络层数），观察误差变化。
一般表现为“U型”曲线：复杂度过低或过高都不好，适中最好。

六、工程应对策略

1. 防止过拟合的方法

增加训练数据量：更多样本有助于模型学到通用规律，减少对噪声的记忆。
正则化（Regularization）：如L1、L2正则项，限制模型参数大小。

$\text{Loss Function} = \text{Original Loss} + \lambda \|\theta\|_p$
简化模型结构：降低模型复杂度，如减少多项式次数、神经网络层数。
早停（Early Stopping）：在验证集误差不再下降时提前终止训练。
数据增强（Data Augmentation）：对原始数据做变换，提升泛化能力。
交叉验证调参：选择最优超参数，避免模型过拟合。

2. 解决欠拟合的方法

增加模型复杂度：用更复杂的模型（如高阶多项式、深层网络）。
丰富特征表达：引入更多有区分力的特征或进行特征工程。
减少正则化强度：适当减小正则化系数，让模型能更好地拟合数据。
训练更久：增加训练轮数，确保模型收敛。

七、典型代码示例与可视化

欠拟合、适度拟合、过拟合的可视化

import numpy as np
import matplotlib.pyplot as plt
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error
from sklearn.model_selection import train_test_split

# 生成数据
np.random.seed(0)
X = np.linspace(0, 1, 20)[:, np.newaxis]
y = np.sin(2 * np.pi * X).ravel() + 0.2 * np.random.randn(20)

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.4, random_state=0)

plt.figure(figsize=(12, 4))
degrees = [1, 4, 15]
for i, d in enumerate(degrees):
    plt.subplot(1, 3, i+1)
    poly = PolynomialFeatures(degree=d)
    X_train_poly = poly.fit_transform(X_train)
    X_test_poly = poly.transform(X_test)
    model = LinearRegression()
    model.fit(X_train_poly, y_train)
    y_train_pred = model.predict(X_train_poly)
    y_test_pred = model.predict(X_test_poly)
    plt.scatter(X_train, y_train, color='blue', label='Train')
    plt.scatter(X_test, y_test, color='red', label='Test')
    # 仅在训练数据范围内绘制回归曲线
    x_plot = np.linspace(X_train.min(), X_train.max(), 100)[:, np.newaxis]
    y_plot = model.predict(poly.transform(x_plot))
    plt.plot(x_plot, y_plot, color='green')
    plt.title(f'Degree={d}\nTrain MSE={mean_squared_error(y_train, y_train_pred):.2f}\nTest MSE={mean_squared_error(y_test, y_test_pred):.2f}')
    plt.xlabel('X')
    plt.ylabel('y')
    plt.legend()
    plt.ylim(-2, 2)  # 限制y轴范围，避免极端爆炸影响可视化
plt.tight_layout()
plt.show()