通过sklearn展示过拟合&欠拟合

机器学习工具篇_sklearn_决策树 阅读详情

(1)过拟合与欠拟合定义

过拟合:创建的机器学习和深度学习模型在进行训练的时,表现的过于优越;

欠拟合:创建的机器学习和深度学习模型没有很好的捕捉到数据特征,不能很好地拟合数据;

(2)使用sklearn展示过拟合&欠拟合

import numpy as np
import matplotlib.pyplot as plt
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import cross_val_score

def true_fun(X):
    return np.sin(1.5 * np.pi * X)

np.random.seed(0)

n_samples = 30
degrees = [1, 4, 15]

X = np.sort(np.random.rand(n_samples))                    #产生随机样本,并进行排序
y = true_fun(X) + np.random.randn(n_samples) * 0.1        #在真实函数的基础上添加噪声

plt.figure(figsize=(14, 5))                               #设置图像的大小
for i in range(len(degrees)):
    ax = plt.subplot(1, len(degrees), i + 1)              #分配显示图
    plt.setp(ax, xticks=(), yticks=())
    #分别生成1次、4次、15次多项式
    polynomial_features = PolynomialFeatures(degree=degrees[i],
                                             include_bias=False)
    linear_regression = LinearRegression()
    # pipeline将数据处理和模型拟合结合在一起
    pipeline = Pipeline([("polynomial_features", polynomial_features),
                         ("linear_regression", linear_regression)])
    pipeline.fit(X[:, np.newaxis], y)

    # 使用交叉验证评估模型
    scores = cross_val_score(pipeline, X[:, np.newaxis], y,
                             scoring="neg_mean_squared_error", cv=10)
    #绘制结果图
    X_test = np.linspace(0, 1, 100)
    plt.plot(X_test, pipeline.predict(X_test[:, np.newaxis]), label="Model")
    plt.plot(X_test, true_fun(X_test), label="True function")
    plt.scatter(X, y, edgecolor='b', s=20, label="Samples")
    plt.xlabel("x")
    plt.ylabel("y")
    plt.xlim((0, 1))
    plt.ylim((-2, 2))
    plt.legend(loc="best")
    plt.title("Degree {}\nMSE = {:.2e}(+/- {:.2e})".format(
        degrees[i], -scores.mean(), scores.std()))
plt.show()

效果图:

说明:左图一,蓝线表现出欠拟合状态;左图二,蓝线模型能够很好的拟合;左图三,蓝线表现出过拟合状态

注:本文章代码主要参考sklearn官网提供的例程:https://scikit-learn.org/stable/

了解更多关于《计算机视觉与图形学》相关知识,请关注公众号:

下载我们视频中代码和相关讲义,请在公众号回复:计算机视觉课程资料

sklearn 机器学习基础(线性回归、欠拟合、过拟合、岭回归、模型加载保存) 另外,能让估计参数的波动范围变小,变的更稳定。在存在病态数据偏多的研究中有较大的实用价值。优化和迭代的过程就是求最合适的权重的过程。模型过于复杂是因为模型尝试去兼顾各个测试数据点。L2正则化(了解)减小高次项的权重。1.3最小二乘法之梯度下降(通用)进行特征选择,消除关联性大的特征(正则化力度越大,权重值越小趋近于0。矩阵的乘法满足线性回归运算需求。原始特征过多,存在一些嘈杂特征,回归系数更符合实际,更可靠。学习到数据的特征过少,让所有数据都有过训练。#保存训练好的模型。... 阅读详情

相关推荐

【python 机器学习】sklearn 过拟合与欠拟合

过拟合就像是你背了一本书上的所有字,但考试的时候问题不完全一样,这样你就做不好题了,因为你记住了具体的内容而没理解其中的意思。欠拟合就像是你根本没记住书上的内容,考试的时候也没有答对题目,因为你没学透那些知识点。过拟合与欠拟合是机器学习中常见的问题,正确识别并采取相应的措施至关重要。通过sklearn提供的工具和模型,我们可以轻松地检测过拟合与欠拟合,并通过调整模型的复杂度、使用正则化或增加数据量来改善模型的表现。合理选择模型复杂度和正则化强度,能够有效地避免过拟合和欠拟合,提高模型的泛化能力。

m0_62599305的博客 1168

sklearn模型调优(判断是否过过拟合及选择参数)

sklearn模型调优(判断是否过过拟合及选择参数) 这篇博客主要介绍两个方面的东西,其实就是两个函数: 1. learning_curve():这个函数主要是用来判断(可视化)模型是否过拟合的,关于过拟合,就不多说了,具体可以看以前的博客:模型选择和改进 2. validation_curve():这个函数主要是用来查看在参数不同的取值下模型的性能 下面通过代码例子来看下这两个函数

天泽28的专栏 1万+

1.3、云计算HCIP融合存储产品及部署

目标:描述Oceanstor V3系列存储产品系统组成及产品定位 描述Oceanstor V3硬件结构及软件架构 掌握存储系统与主机系统之间的连接 一、存储型号 低端型存储:Oceanstor 2200 2600 2800 V3/V5 终端型存储:Oceanstor 5300 5500 5600 5800 6800 V3/V5 高端型存储:Oceanstor 18000 二、Oceanstor V3系列存储系统定位 OceanStor V3系列存储系统是华为根据存储产品应用现状和存储

weixin_43666279的博客 1656

sklearn快速入门教程 5.欠拟合和过拟合

机器学习入门课程 第五部分 Underfitting and Overfitting Fine-tune your model for better performance.

水滴的博客 1454

工程制图习题集张大庆课后习题答案解析

所以,我想向大家求助,希望能得到一些学习资料、学习方法和学习经验,帮助我更好地理解和掌握这门课程。在寻找学习资料的过程中,我发现了一款叫做资小料的APP,它里面有很多关于工程制图的学习资料,包括视频教程、习题解答和考试真题等。通过使用资小料,我逐渐掌握了工程制图的基本理论和方法,解决了很多学习中遇到的问题。在这里,我想推荐给和我一样在学习《工程制图习题集》这门课的同学们,希望大家也能从这款APP中受益,共同进步。上传者: 『Consentesdei』蒼迷穀。出版社: 清华大学出版社。

weixin_58833001的博客 927

代码实现 —— 基于 STM32 的可见光通信系统课程设计

基于STM32F103ZET6,源码如需移植,需要修改定时器捕获通道引脚,及定时器,如果你也有这个课设任务,希望对你有所帮助。

不善挽留 1万+

机器学习实践(十三)—sklearn之欠拟合与过拟合

当训练数据训练的很好误差也不大的时候,为什么在测试集上面进行预测会有较大偏差呢? 当算法在某个数据集当中出现这种情况,可能就出现了过拟合现象。 一、什么是过拟合与欠拟合 欠拟合 一个假设在训练数据上不能获得更好的拟合,并且在测试数据集上也不能很好地拟合数据,此时认为这个假设出现了欠拟合的现象。(模型过于简单) 过拟合 一个假设在训练数据上能够获得比其他假设更好的拟合, 但是在测试数据集上...

醒途 1064

多模态数据集对比:MicroLens、PixelRec和Amazon在电商推荐中的表现差异

本文深入对比了三大主流多模态数据集MicroLens、PixelRec和Amazon在电商推荐中的表现差异。通过实际测试数据,分析了这些数据集在冷启动处理、模态融合、稀疏性挑战等关键场景下的真实表现,为算法工程师和研究员提供实用指南。特别关注多模态数据集的选择对推荐系统效果的影响,帮助开发者优化模型性能。

weixin_28717939的博客 420

十.过拟合解决方案之正则化和sklearn实现Ridge回归

目录1.过拟合2.正则化(1)L1正则(2)L2正则3.sklearn实现Ridge回归 1.过拟合 当模型过于复杂时,将一些离群点或者说噪声也完全拟合,造成模型在训练集上表现优异,在测试集或者说泛化时表现较差,这种现象称之为过拟合。 2.正则化 将经验风险最小化函数改为结构风险最小化函数,或者说将损失函数加上正则化项,可以使模型变简单,从而避免过拟合。 以线性回归为例,常用的正则化有L1L1L1正则和L2L2L2正则。 (1)L1正则 线性回归的损失函数加上L1L1L1正则化项以后为: J(θ)=12(X

weixin_36128607的博客 622

5G R18标准:AI/ML如何重塑空口优化与网络架构

人工智能与机器学习正逐步成为通信网络优化的核心技术。其核心原理在于通过数据驱动模型,从海量网络数据中学习信道变化、用户行为等统计规律,替代传统的基于固定规则的优化方法。这一技术范式能显著提升网络性能与效率,尤其在空口资源管理、干扰协调和能耗控制等场景中价值突出。在5G Advanced(R18)标准化框架下,AI/ML被系统性地引入空口设计,聚焦于信道状态信息反馈增强、波束管理与预测等关键用例。通过定义网络侧AI、终端侧AI及联合学习的标准化接口与流程,R18旨在实现跨厂商设备的智能协同,推动无线网络向自适

weixin_35671843的博客 244

11.8 LangGraph生产级AI Agent开发:从节点定义到高并发架构的终极指南

本文介绍了如何使用 LangGraph 构建生产级 AI Agent,重点解析了 LangGraph 的核心设计、节点与边的实现方法论、生产级实现技巧以及性能优化策略。LangGraph 通过图结构抽象复杂 AI 工作流,核心组件包括节点、边、状态和检查点。节点通过 Python 函数封装原子业务逻辑,边通过条件分支实现动态工作流。生产级实现技巧包括状态管理、多会话控制和错误处理机制。性能优化策略涉及并行执行和缓存机制设计。文章还提供了旅行规划 Agent 的实战案例和常见问题解决方案,帮助开发者构建高效、

yonggeit的博客 3272

sklearn模型过拟合、欠拟合分析,learning_curve绘制学习曲线

以iris数据集合SVM分类器为例,使用sklearn的learning_curve函数绘制分类器的学习曲线,并根据学习曲线判断模型的状态,是欠拟合还是过拟合。 1、加载iris数据集 2、划分训练集和测试集 3、设置超参数C=0.05, gamme=0.1训练SVM模型 交叉验证结果准确率0.86,结果好像还不错!!! 4、使用learning_curve绘制分类器学习曲线...

胖胖大海的博客 6785

【数据集总结】不透水面积ISA:GAIA、CLUD-Urban、GISA

【数据集总结】不透水面积ISA:GAIA、CLUD-Urban、GISA

WW、forever的博客 2164

sklearn快速入门教程 ——5.欠拟合和过拟合

sklearn快速入门教程 ——5.欠拟合和过拟合

Xiao_Ya__的博客 940

《测控仪器设计课后习题答案-浦昭邦-王宝光

《测控仪器设计课后习题答案-浦昭邦-王宝光 1.1. 测控仪器的概念是什么? 测控仪器则是利用测量和控制的理论,采用机、电、光各种计量测试原理及控制系统与计算机相结合的一种范围广泛的测量仪器。 1.2. 为什么说测控仪器的发展与科学技术发展密切相关? 仪器仪表的用途和重要性— 遍及国民经济各个部门,深入到人民生活的各个角落,仪器仪表中的计量测试仪器与控制仪器统称为测控仪器,可以说测控仪器的水平是科学技术现代化的重要标志。 仪器仪表的用途: 在机械制造业中:对产品的静态与动态性能测试;加工过程的控制与监测;设

无名何许人的博客 2978

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

线性回归中的过拟合与欠拟合

线性回归中的过拟合与欠拟合一、模型为什么预测不准1.1欠拟合1.1.1 定义1.1.2 原因1.1.3 解决办法1.2 过拟合1.2.1 定义1.2.2 原因1.2.3 解决办法二、欠拟合2.1 一个欠拟合的例子2.2 使用多项式扩展解决欠拟合的问题2.2.1 多项式扩展的原理2.2.2 sklearn多项式扩展解决欠拟合问题(1)多项式扩展的简单使用(2)多项式扩展提升拟合程度(3)多项式扩展的结果分析a.模型解释变量的阈值分析b.多项式扩展阶数的分析2.3 多项式扩展的总结三、过拟合3.1 一个过拟合的

weixin_41607365的博客 2775

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

过拟合与欠拟合

一个在训练数据上不能获得很好的拟合,在训练集数据以外的数据集上也不能很好的拟合数据,此时认为这个假设出现了欠拟合的现象(模型过于简单)原因:模型学习到样本的特征太少解决:增加样本的特征数量(多项式回归)一个假设在训练数据上能够获得比其他假设更好的拟合,但是在训练数据以外的数据集上却不能很好的拟合数据,此时认为这个假设出现了过拟合现象(模型过于复杂)原因:原始特征过多,存在一些嘈杂特征解决:进行特征选择,消除关联性大的特征(难做);正则化之邻回归。

m0_46926492的博客 2403

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

sklearn教程12 -过拟合,欠拟合,L2正则化岭回归

sklearn教程12 -过拟合,欠拟合,L2正则化岭回归

山顶极客 843

06 基于sklearn的机器学习-欠拟合、过拟合、正则化、逻辑回归、k-means算法

摘要:本文系统介绍了机器学习中的欠拟合、过拟合问题及其解决方案。欠拟合源于模型过于简单或特征不足,而过拟合则因模型复杂度过高或数据噪声导致。正则化是解决过拟合的关键技术,包括L2正则化的岭回归(保持所有特征但降低权重)和L1正则化的拉索回归(自动特征选择)。逻辑回归部分重点阐述了Sigmoid函数和交叉熵损失函数的应用,并通过泰坦尼克号数据集示例展示了分类实践。全文通过数学公式和代码实例(sklearn实现)详细解析了不同算法的原理与应用场景。(149字)

2202_75674969的博客 1196

6.sklearn-线性回归、岭回归、欠拟合和过拟合

Anaconda-创建虚拟环境的手把手教程相关环境配置看此篇文章,本专栏深度学习相关的版本和配置,均按照此篇文章进行安装。 1.线性回归 1.1 正规方程 正规方程函数介绍: 运行结果 运行结果 1.数据量小于10万条时,不建议使用梯度下降; 2.正规方程(LinearRegression())不能解决拟合问题,使用的比较少; 3.SGD – 随机梯度下降(Stochastic gradient descent)是一个优化方法。它在一次迭代时只考虑一个训练样本。 优点:高效、容易实现 缺点:SGD需要许

ls3614140的博客 800

过拟合与欠拟合原因及解决办法、正则化类别、维灾难、正则化线性模型、岭回归、Lasso 回归、Elastic Net (弹性网络)、岭回归函数及案例使用、sklearn模型的保存和加载

有一系列猫和狗的图片,通过对猫和狗用一些描述性特征如颜色等构造一个分类器对其进行分类,单个颜色特征可能无法得到一个准确的分类器,需加入一些其他特征,随着特征的增加,分类器性能随之增加,即分类准确率更高,但当特征数量达到一定规模后,分类器性能是下降的。线性回归进行训练学习的时候模型会变得复杂,这里就对应前面再说的线性回归的两种关系,非线性关系的数据,也就是存在很多无用的特征或者现实中的事物特征跟目标值的关系并不是简单的线性关系。随着维度的增加,分类器性能逐步上升,到达某点之后,其性能便逐渐下降。

我的个人博客 7972

python之sklearn-分类算法-3.2 欠拟合与过拟合

一,什么是过拟合与欠拟合 训练数据训练的很好啊,误差也不大,为什么在测试集上面有问题呢? 当算法在某个数据集当中出现这种情况,可能就出现了过拟合现象。 1,图示例子 欠拟合 过拟合 分析 第一种情况:因为机器学习到的天鹅特征太少了,导致区分标准太粗糙,不能准确识别出天鹅。 第二种情况:机器已经基本能区别天鹅和其他动物了。然后,很不巧已有的天鹅图片全是白天鹅的,于是机器经过学习后,会认为天鹅的羽毛都是白的,以后看到羽毛是黑的天鹅就会认为那不是天鹅。 2,定义 过拟合:一个假设在训练数据上能够获

TFATS的博客 1031

线性回归;欠拟合和过拟合

线性回归 定义:线性回归通过一个或者多个自变量与因变量之间之间进行建模的回归分析。其中特点为一个或多个称为回归系数的模型参数的线性组合。 线性回归的误差大小通过损失函数来计算–最小二乘法,目的是去寻找最小损失对应的权重值。 计算最佳权重的两种方法: 1.正规方程 w =(XTX-1)XTY:缺点是当特征过于复杂时,求解速度太慢 2.梯度下降 适用于训练数据规模十分庞大的任务 正规方程API:sklearn.linear_model.LinearRegression 梯度下降API:sklearn.lin

esfuerzos的博客 3751

神经网络之防止过拟合

今天我们来看一下神经网络中防止模型过拟合的方法在机器学习和深度学习中,过拟合是指模型在训练数据上表现得非常好,但在新的、未见过的数据上表现不佳的现象。这是因为模型过于复杂,以至于它学习了训练数据中的噪声和细节,而不是数据的潜在分布。为了解决这个问题,正则化技术被引入,它通过在损失函数中添加一个惩罚项来对模型的复杂度进行限制。

小森的博客 2545

机器学习-学习曲线(过拟合与欠拟合的判断)

Section I: Brief Introduction on LearningCurves If a model is too complex for a given training dataset-there are too many degrees of freedom or paramters in this model-the model tends to overfit the t...

Santorinisu Blogs 1656
上一篇: Torch与Numpy简单比较(5)
下一篇: 双显卡同时显示多个显示屏
元宇宙MetaAI
博客等级 码龄10年 331粉丝 333原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值