训练数据集含有离群值时岭回归的表现

原创

于 2019-08-16 17:33:36 发布 · 566 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#岭回归离群值

本文探讨了岭回归在含有离群值的训练数据集上的表现。尽管训练模型的交叉验证得分较差，但在无离群值的测试数据上，模型表现良好，显示了岭回归的鲁棒性。实验通过生成含有离群值的数据，并使用GridSearchCV进行参数调优，得出结论：训练数据中的离群值会影响交叉验证效果，但不会显著影响实际应用的预测准确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

目的：
测试岭回归在含有离群值（outlier）的训练数据集上训练的模型有什么异常行为。

结论：训练集中如果有离群值，训练的模型交叉验证的得分比较差，但模型在实际测试数据中（测试数据没有离群值）并没有表现的那么差。可见岭回归的鲁棒性还是不错的。所以，如果以后碰到类似的情况，大致可以判断出训练数据有离群值。

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats
from sklearn.model_selection import train_test_split
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_validate
from sklearn.linear_model import Ridge

from sklearn.metrics import mean_squared_error

train_size = 1000
test_size=400
seed=42
scoring=‘neg_mean_squared_error’

#noises = np.random.randn(size)
noises_train = stats.norm.rvs(loc=0, scale=1, size=train_size, random_state=seed).reshape(-1,1)
X_train = np.arange(train_size).reshape(-1,1)
y_train = 2.1 + 0.3*X_train + noises_train

train_outliers = np.arange(700,710).reshape(-1,1)
train_outliers_noises = stats.norm.rvs