学习曲线的绘制与参数选择

python机器学习----模型选择2(绘制分类边界、验证曲线、学习曲线) 一、绘制分类边界  绘制模型结果分类边界,能够从可视化的角度,查看当前的特征分类效果如何 import numpy as np import pandas as pd from sklearn.datasets import load_iris import matplotlib.pyplot as plt from sklearn.linear_model import LogisticR... 阅读详情
                                            <div class="article-copyright">
            <span class="creativecommons">
            <a rel="license" href="http://creativecommons.org/licenses/by-sa/4.0/">
                </a>
        <span>
            版权声明:本文为博主原创文章,遵循<a href="http://creativecommons.org/licenses/by-sa/4.0/" target="_blank" rel="noopener"> CC 4.0 BY-SA </a>版权协议,转载请附上原文出处链接和本声明。            </span>
           <div class="article-source-link2222">
                本文链接:<a href="https://blog.youkuaiyun.com/weixin_44863781/article/details/90522382">https://blog.youkuaiyun.com/weixin_44863781/article/details/90522382</a>
            </div>
        </span>
                </div>
                                                <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-3019150162.css">
                                    <div id="content_views" class="markdown_views prism-atom-one-dark">
                <!-- flowchart 箭头图标 勿删 -->
                <svg xmlns="http://www.w3.org/2000/svg" style="display: none;">
                    <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path>
                </svg>
                                        <p>一、学习曲线与高偏差、高方差<br>

学习曲线描述了训练集样本数与训练误差、在验证集误差的关系。通过学习曲线,我们能够清楚地知道我们的模型是高偏差还是高方差,即欠拟合还是过拟合。

下图为高偏差情况:

在这里插入图片描述

在高偏差情况下,可以看出训练误差 J t r a i n J t r a i n J t r a i n JtrainJtrain J_{train} JtrainJtrainJtrain​Jcv​减小。

二、学习曲线的应用
下面我们应用绘制学习曲线来帮助我们选择模型参数
1、先导入需要使用的模块:

import numpy as np
from scipy.io import loadmat
import seaborn as sns
import matplotlib.pyplot as plt
import pandas as pd
from scipy.optimize import minimize

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

2、读取并查看处理数据:

data = loadmat('F:\\MachineLearning\data\ex5data1.mat')
print(data)

 
  • 1
  • 2

我们可以发现data中包含训练集X,训练集标记y,测试集Xtest,测试集标记ytest,验证集Xval以及验证集标记yval。
我们分别取出x,y,Xtest,ytest,Xval以及yval。并为了之后的计算方便,把标记全部由矩阵形式改为数组形式:

X=data['X']
y=data['y']
Xval = data['Xval']
yval = data['yval']
Xtest = data['Xtest']
ytest = data['ytest']
X1=np.ravel(X)
y1=np.ravel(y)
m_Xval,d_Xval = Xval.shape
Xval1 = np.ravel(Xval)
yval1 = np.ravel(yval)
Xtest1 = np.ravel(Xtest)
ytest1 = np.ravel(ytest)
m,d = X.shape
m_test,d_test=Xtest.shape

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15

下面我们查看训练集样本样本分布:

#查看训练集
df = pd.DataFrame({'water_level':X1,'flow':y1})
sns.lmplot('water_level','flow',data=df,fit_reg=False)
plt.show()

 
  • 1
  • 2
  • 3
  • 4

得到图:
在这里插入图片描述
由于常数项的存在,我们需要对X,Xtest,Xval添加全为1的列:

X1=X
Xval1=Xval
Xtest1=Xtest
X=np.insert(X,0,values=np.ones(m),axis=1)
Xval=np.insert(Xval,0,values=np.ones(m_Xval),axis=1)
Xtest=np.insert(Xtest,0,values=np.ones(m_test),axis=1)

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

3、用线性拟合数据
首先我们是正则化的代价函数和不带正则化的代价函数,这里之所以要有一个带正则化和不带正则化,是因为在训练参数是我们需要使用的是带正则化的代价函数和梯度函数,然而在绘制学习曲线时,我们需要使用不带正则化的代价函数:

def regularized_cost(theta,X,y,regularized_param):
    m = X.shape[0]
    delta= X @ theta - y
    cost_term = (delta.T @ delta) / (2*m)
    regularized_term = (theta[1:].T @ theta[1:]) * (regularized_param/(2*m))
    cost = regularized_term + cost_term
    return cost

def cost(theta,X,y):
m = X.shape[0]
delta= X @ theta - y
total_cost = (delta.T @ delta) / (2*m)
return total_cost

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13

然后是带正则化的梯度函数:

def regularized_gradient(theta,X,y1,regularized_param):
    m = X.shape[0]
    delta = X @ theta - y1
    gradient_term = (X.T @ delta) / m
    theta1 = np.insert(theta[1:],0,values=0)
    regularized_term = (regularized_param / m) * theta1
    gradient=gradient_term + regularized_term
    return gradient

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

用scipy中的minimize函数去求参数,因为这里我们的数据只有一个属性,如果加上常数项对应的参数,我们应该得到的是二维数组:

#拟合数据
theta=np.ones(2)
res = minimize(fun=regularized_cost,x0=theta,args=(X,y1,1),method='Newton-CG',\
               jac=regularized_gradient,options={'disp':True})
x=res.x

 
  • 1
  • 2
  • 3
  • 4
  • 5

我们绘制曲线图查看模型与数据的拟合情况:

#对比线性拟合情况
plt.scatter(X1,y1,label='Trainning Set',color='blue')
plt.plot(X1,x[1]*X1+x[0],label='Prediction',color='red')
plt.legend()
plt.show()

 
  • 1
  • 2
  • 3
  • 4
  • 5

得到图:
在这里插入图片描述
从图上可以看出我们的模型过于简单不能很好的描述训练集数据的特点。下面我们看看学习曲线的情况:

#画出学习曲线
Jtraining = []
Jcv = []
for i in range(m):
    res=minimize(fun=regularized_cost,x0=theta,args=(X[:i+1,:],y1[:i+1],1),method='Newton-CG',\
                jac=regularized_gradient,options={'disp':True})
    x=res.x
    jtraining = cost(x,X[:i+1,:],y1[:i+1])
    Jtraining.append(jtraining)
    jcv = cost(x,Xval,yval1)
    Jcv.append(jcv)
plt.plot(np.arange(1,m+1),Jcv,label='Jcv',color='red')
plt.plot(np.arange(1,m+1),Jtraining,label='Jtraining',color='blue')
plt.legend()
plt.show()

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15

这里使用迭代,从i=0逐渐扩大i,取X[:i+1,:],这就相当与训练集样本数从1逐渐扩大,然后把不同样本集样本数下的训练集代价和验证集代价分别存于列表中。这样我们可以到学习曲线图:
在这里插入图片描述
我们可以看到 J t r a i n J t r a i n J t r a i n JtrainJtrain J_{train} JtrainJtrainJtrain​Jcv​不会太大表明在新样本上依然拥有较好的泛化能力。
我们还可以计算在测试集上的误差来选择正则化常数:

#得到测试集上的代价值
prepared_test = prepare_data(Xtest1,8)
theta8=np.ones(9)
for l in L:
    test_fmin=minimize(fun=regularized_cost,x0=theta8,args=(prepared_data[:i+1,:],y1[:i+1],l),\
                     method='TNC',jac=regularized_gradient,options={'disp':True})
    test_cost = cost(test_fmin.x,prepared_test,ytest1)
    print(str(l)+'  :  '+str(test_cost))

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

得到:

0  :  9.873941227352864
0.001  :  11.008145910102536
0.003  :  11.301862220853764
0.01  :  10.988460477608943
0.03  :  10.218881836544037
0.1  :  8.953968731131386
0.3  :  7.745110198919966
1  :  7.851586049767016
3  :  11.770306579735657
10  :  26.894076292237678
30  :  52.76679321644176
100  :  79.07925641027286

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

我们发现在测试集上正则化常数为0.3时,测试集上的代价最小,所以我们选择正则化常数为0.3。

                                </div>
            <link href="https://csdnimg.cn/release/phoenix/mdeditor/markdown_views-095d4a0b23.css" rel="stylesheet">
【机器学习】sk-learn的模型选择 (sklearn.model_selection) 可以做什么? sklearn.model_selection 模块提供了丰富的工具来帮助开发者进行模型选择和评估。通过使用这些工具,可以有效地选择合适的模型和超参数,避免过拟合,并提高模型在新数据上的泛化能力。如果你有具体的模型选择或评估需求,可以根据上述功能选择合适的方法进行实施。 阅读详情

相关推荐

验证曲线与学习曲线的对比分析(Python实现)

通常来说,对于不同的超参数取值,模型在训练集上的表现会有所差异,但在验证集上表现不一定会随之变化。学习曲线主要关注训练样本数量的影响,而验证曲线则更关注超参数的选择。可以看到,随着训练样本数量的增加,训练误差和测试误差都逐渐减小,但测试误差的减小幅度逐渐变小,当样本数量接近300时,测试误差已经趋于稳定。假设我们有一个简单的线性回归模型,我们可以通过调整正则化系数的取值,观察其在训练集和验证集上的表现情况。可以看到,当正则化系数较小时,模型容易过拟合,而当正则化系数较大时,模型欠拟合,此时的测试误差最小。

code_welike的博客 593

机器学习算法调参神器之1:学习曲线

在Python中重要的机器学习库scikit-learn的算法模型应用中涉及各类关键参数,那么,如果选择及调整这些参数才能优化模型运行结果呢?下面介绍一下机器学习算法中常用的调参神器之一的:学习曲线。 学习曲线 参数学习曲线是一条以不同的参数取值为横坐标,不同参数取值下的模型结果为纵坐标的曲线,我们可以选择模型表现最佳点的参数取值为参数赋值。 代码实现 #导包 import numpy as np...

The Zen of Data Analysis 2473

西门子RS485自由口通信Modbus RTU 通信协议

部分西门子的RS485模块不能使用西门子自带的Modbus RTU通信指令,需要通过自己拼接、发送、接收和解析报文完成Modbus RTU通信。通过多次尝试完成该功能: #R_TRIG_Instance(CLK := #触发, Q => #触发上升沿); IF #触发上升沿 THEN // 触发后先将读取完成复位 #读写完成 := 0; END_IF; CASE #功能码 OF 1: // 线圈状态读取 ; 2:

qq_20792765的博客 1万+

【深度学习基础】基于Numpy的感知机Perception构建和训练

感知机Perception是一个线性的分类器,其只适用于线性可分的数据:\[ f(\mathbf{x}) = sign(\mathbf{w}^\mathrm{T} \mathbf{x} + b)\]其试图在所有的线性可分超平面构成的假设空间中找到一个能使训练集中的数据可分的超平面。感知机并未对这一超平面做特殊要求,只要能区分开训练数据即可。因此,它找到的超平面并不一定是最优的,即可能只是恰好拟合了训练数据的超平面,其泛化能力并不佳。由于直接最小化误分类点的个数并不可微,感知机的学习策略被设为:最小化误分类点

2401_85375151的博客 723

别急着让AI画板!聊聊Cadence Allegro X AI和OrCAD X在实际PCB项目中的真实体验

本文分享了Cadence Allegro X AI与OrCAD X在PCB设计中的实际应用体验,探讨了AI辅助Layout的效率提升与潜在陷阱。通过高速ADC采集板案例,详细对比了AI与传统方法在电源平面分割、低速信号布线等任务中的表现,并总结了人机协作的最佳实践,为工程师提供实用参考。

weixin_30836759的博客 2241

【无人机对抗】基于matlab无人机红蓝对抗仿真【含Matlab源码 4436期】

无人机红蓝对抗仿真 完整代码,包运行;可提供运行操作视频!适合小白!

Matlab3024528700的博客 1385

Python机器学习-- KNN学习曲线、K值、交叉验证

文章目录1.breast_cancer 数据集准确度计算2.学习曲线2.1 选择最优K值2.2 不同K取值对模型的影响2.3 神器之一:学习曲线2.3.1 选取最优的K值2.4交叉验证2.4.1 泛化能力2.5 神器之二:K折交叉验证2.6 绘制带交叉验证的学习曲线2.7 是否需要验证集?2.8 交叉验证的方法2.9 避免折数设置太大! 1.breast_cancer 数据集准确度计算 # breast_cancer 数据集 from sklearn.neighbors import KNeighbors

weixin_48678602的博客 6312

Selenium实战:突破反爬,自动化抓取国家知识产权局专利数据

网络爬虫是数据采集的核心技术,其原理是通过程序模拟浏览器行为,自动访问网页并提取结构化信息。在数据驱动决策的今天,高效获取公开数据对市场分析、技术调研和竞争情报至关重要。然而,面对广泛应用的JavaScript动态渲染和反爬虫机制,传统的静态页面抓取方法往往失效。Selenium作为浏览器自动化工具,通过驱动真实浏览器执行JavaScript,能够有效绕过前端反爬,实现“可见即可得”的数据抓取,在需要与页面进行复杂交互或处理动态内容的场景中价值显著。本文以【专利数据】抓取为例,结合【Selenium】工具,

weixin_33881140的博客 397

吴恩达deeplearning.ai:学习曲线&决定下一步怎么做

学习曲线是一种图形表示方法,用于展示模型在训练过程中的学习表现,即模型的训练集和验证集上的性能如何随着训练时间的增加而变化。可以帮助我们了解模型的学习进度。

m0_75077001的博客 1452

告别外置电阻!揭秘MAX22201集成电流检测的5大设计优势(附PCB布局案例)

本文深入解析MAX22201集成电流检测技术在直流有刷电机驱动中的5大设计优势,包括BOM成本降低、PCB空间优化、动态性能提升等。通过与传统方案(如DRV8871+外置电阻)的实测对比,展示其在高精度电流检测、抗干扰能力和PCB布局简化方面的突破,并附有详细的PCB布局案例和配置指南。

weixin_29189377的博客 244

Halcon 3D点云处理实战:从PLY文件读取到曲面匹配的完整流程(附避坑指南)

本文详细介绍了Halcon在3D点云处理中的完整流程,从PLY文件读取到曲面匹配,特别强调了3D算子的应用技巧和避坑指南。通过实战案例和参数优化建议,帮助开发者高效处理工业视觉检测中的复杂点云数据,提升匹配精度和性能。

weixin_42535720的博客 279

sklearn模型过拟合、欠拟合分析,learning_curve绘制学习曲线

以iris数据集合SVM分类器为例,使用sklearn的learning_curve函数绘制分类器的学习曲线,并根据学习曲线判断模型的状态,是欠拟合还是过拟合。 1、加载iris数据集 2、划分训练集和测试集 3、设置超参数C=0.05, gamme=0.1训练SVM模型 交叉验证结果准确率0.86,结果好像还不错!!! 4、使用learning_curve绘制分类器学习曲线...

胖胖大海的博客 6785

【Transformer】小白入门指南

Transformer是起源于NLP领域,然后在图像、视频、声音等领域都得到了广泛应用的基础架构,是继MLP、CNN、RNN’后的公认的第四大基础模型结构。Transformer技术凭借其卓越的表现和广泛的应用前景,已经成为了机器学习领域的一个关键技术。自从2017年Google提出》一文以来,Transformer架构的出现彻底改变了机器学习和深度学习的格局,尤其是在处理语言模型、生成模型以及多模态学习等领域,Transformer几乎成为了不可或缺的技术基石。

图挖掘领域,新晋砖家 ☞ 未来可期,欢迎和静静一起学习交流吖 2524

学习曲线的封装--learning_curve()函数

学习曲线的封装

m0_54510474的博客 947

常用元器件使用方法13:物理层接口芯片DP83848的使用方法

介绍: DP83848是以太网物理层接口芯片,具有多种型号,从便于焊接角度考虑LQFP-48封装较为合适,采用LQFP-48封装的芯片,有2种型号,分别为DP83848I和DP83848C,如下图所示。 其主要区别是使用温度不同,如下图所示。 这2种芯片芯片网上均有销售,按理说DP83848C价格应该更加便宜,实际不然,DP83848I的价格低于DP83848C,考虑或与芯片的出货量...

snmplink的博客 1万+

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

机器学习的验证曲线

模型验证曲线用于评估模型是否存在过拟合与欠拟合情况,且有助于调整模型超参数。

tinstone的博客 609

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

validation_curve验证曲线与超参数

validation_curve()的位置 在之前,此函数位置在sklearn.learning_curve.validation_curve(),现在,此函数的位置在sklearn.model_selection.validation_curve()。 validation_curve()的作用 我们知道误差是由偏差(bias)、方差(variance)、噪声(noise)组成。 偏差:模型对于...

lvchunyang66的博客 6800

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

matplotlib数据可视化

matplotlib库主要做数据可视化。 代码举例: from matplotlib import pyplot as plt # 准备x轴的值 x = range(2, 26, 2) # 准备y轴的值 y = [12, 15, 13, 33, 44, 22, 21, 21, 23, 10, 12, 13] # 设置图片大小 plt.figure(figsize=(20, 8), dpi=80) plt.plot(x, y) # 保存图片 plt.savefig("./t1.png") #

h2728677716的博客 5621

diagnostic -- 修正

Maching learning diagnostic 概念: ​ A test that you can run to gain insight whta is/isn’t working with a learning algorithm,and gain guidance as to how best to improve its performance 评估假设: 将一组数据分为训练集和测试集,一般以7:3 当数据是有规则时,我们最好使用随机函数,没有规则时,只需要按顺序分割即可。接下来我们使用

qq_46141221的博客 286

python分类算法评估模型_Python机器学习----第4部分 模型评估和参数调优

1、流水线集成数据转换和训练一般为了优化性能,提高准确率,一个常见的流程如下:对数据进行标准化转换,在采用上篇文章介绍的PCA(主成分分析)技术做特征抽取进行降维;最后在使用学习算法训练模型,并评价模型性能。from sklearn.preprocessing import StandardScalerfrom sklearn.decomposition import PCAfrom sklear...

weixin_39575565的博客 579

机器学习算法的性能评估常用的几种方式

1.获取更多的样本 2.减少或增加特征量 3.减少或增加lamda的值 现在来说如何找到有效的方法使训练集的偏差变小。 一.通常把训练样本分为训练集(60%),交叉验证集(20%),测试集(20%)。 训练集:找到对应拟合的θ 验证集:在训练集应用找到的θ后计算出验证误差(最后一般选验证误差较小的参数作为假设参数) 测试集:对测试集所有的误差进行平均加权,得到测试误差。 二.选择合适的模型。 ...

weixin_43752167的博客 2163

从零开始机器学习(九)

机器学习应用方面的建议,如何分辨高偏差与高方差。以及遇到问题如何进行深度学习.

landing_guy_的博客 217

week6_机器学习模型评估

文章目录评价算法(Evaluating a Learning Algorithm)1.机器学习调试2.评估假设函数2.1评估假设函数的标准方法2.2误分类率3.模型的选择 评价算法(Evaluating a Learning Algorithm) 1.机器学习调试 本周学习的前半部分内容是在设计机器学习系统或者进行系统改进的时候,遇到问题怎么调试的问题。 以房价预测为例:假如使用了正则化线性回归...

Bill_Marz的博客 581

[scikit-learn] 第二章 Model Section

`sklearn.model_selection` 模块是 Scikit-learn 库中用于模型选择和评估的核心工具集。该模块提供了用于分割数据集、交叉验证、参数调优和性能评估的功能。本贴主要从交叉验证:评估估计器性能、调整估计器的超参数和学习曲线部分进行介绍。

Kruskual的博客 1023

Ng第十课:应用机器学习的建议(Advice for Applying Machine Learning)

10.1 决定下一步做什么 10.2 评估一个假设 10.3 模型选择和交叉验证集 10.4 诊断偏差和方差 10.5 归一化和偏差/方差 10.6 学习曲线 10.7 决定下一步做什么 10.1 决定下一步做什么 到目前为止,我们已经介绍了许多不同的学习算法,如果你一直跟着这些视频的进度学习,你会发现自己已经不知不觉地成为一个了解许...

weixin_30477797的博客 86
上一篇: 使用可视化库matplotlib绘图时,plt.show()过后只出现Figure size 640x480 with 1 Axes而没有生成图片
下一篇: python读取.mat 文件中的结构体数据
AI_Rancho
博客等级 码龄10年 63粉丝 50原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值