回归与聚类——性能评估（二）

最新推荐文章于 2025-05-18 23:04:06 发布
最新推荐文章于 2025-05-18 23:04:06 发布
阅读量608 收藏 3
点赞数 4
分类专栏： 机器学习 文章标签： 回归 聚类 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_37441377/article/details/138114783
版权
本文探讨了数据标准化对回归预测的影响，介绍了均方误差作为性能评估指标，以及如何通过改变SGDRegressor的学习率来优化模型。同时，对比了正规方程、梯度下降与SGD、SAG等优化方法在不同场景下的适用性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1分析

回归当中的数据大小不一致，是否会导致结果影响较大。所以需要做标准化处理。

  • 数据分割与标准化处理
  • 回归预测
  • 线性回归的算法效果评估

2回归性能评估

均方误差(Mean Squared Error)MSE)评价机制：
在这里插入图片描述

注：y^i为预测值，y-为真实值

  • sklearn.metrics.mean_squared_error(y_true, y_pred)
    • 均方误差回归损失
    • y_true：真实值
    • y_pred：预测值
    • return：浮点数结果

3代码

在这里插入图片描述

在这里插入图片描述
我们也可以尝试去修改学习率

estimator =SGDRegressor(learning_rate='constant',eta0=0.001)

此时我们可以通过调参数，找到学习率效果更好的值。

4正规方程和梯度下降对比

在这里插入图片描述

  • 文字对比
梯度下降正规方程
需要选择学习率不需要
需要迭代求解一次运算得出
特征数量较大可以使用需要计算方程，时间复杂度高O(n3)
  • 选择：
    • 小规模数据：
      • LinearRegression(不能解决拟合问题)
      • 岭回归
    • 大规模数据：SGDRegressor

拓展-关于优化方法GD、SGD、SAG
1、GD 梯度下降，原始的梯度下降法需要计算所有样本的值才能够得出梯度，计算量大，所以后面才有会一系列的改进。
2、SGD随机梯度下降。它在一次迭代时只考虑一个训练样本。

  • SGD的优点是：
    • 高效
    • 容易实现
  • SGD的缺点是：
    • SGD需要许多超参数：比如正则项参数、选代数
    • SGD对于特征标准化是敏感的。

3、SAG随机平均梯度法，由于收敛的速度太慢，有人提出SAG等基于梯度下降的算法。
Scikit-learn:岭回归、逻辑回归等当中都会有SAG优化

【机器学习】sklearn中的回归问题性能评估方法----------图像计算常用的指标
xiaohutong1991的专栏
08-19 4859
一、前言 回归问题解决的是对具体数值的预测，比如房价预测、销量预测等等，解决回归问题的神经网络一般只有一个输出节点，这个节点的输出值就是预测值。回归模型是机器学习中很重要的一类模型，不同于常见的分类模型，回归模型的性能评价指标跟分类模型也相差很大，这里记录一下基于sklearn库计算回归模型中常用的四大评价指标主要包括：explained_variance_score、mean_absolute_error、mean_squared_error、r2_score 二、性能评估方法概述 2.1SSE（.
【Python机器学习】回归任务、线性回归评价指标讲解及温度与花朵数线性回归实战（图文解释 附源码）
showswoller的博客
12-19 2246
【Python机器学习】回归任务、线性回归评价指标讲解及温度与花朵数线性回归实战（图文解释 附源码）
机器学习中回归任务的性能度量
大墅哥哥的博客
03-20 2553
机器学习 数据挖掘 回归任务的常用的性能度量 机器学习评估指标 性能度量 均方误差、平均绝对误差、确定系数$R^2$
【深度学习】回归任务评价方法（MSE、MAE、RMSE）
JNing
09-14 5408
回归loss MSE 1n∑ni=1
机器学习回归任务指标评价及Sklearn神经网络模型评价实践
肖永威的专栏
05-12 5427
机器学习回归模型评价是指对回归模型的性能进行评估，以便选择最佳的回归模型。其中，MAE、MSE、RMSE 用于衡量模型预测值与真实值之间的误差大小，R² 用于衡量模型对数据的拟合程度。在实际应用中，我们可以使用这些指标来评估回归模型的性能，并对模型进行优化。例如，在工业领域，回归算法可以通过对历史数据的回归分析，预测用电负荷、发电量等生产指标。
回归与聚类算法————分类算法-逻辑回归与二分类
zcolaz的博客
03-21 1260
1、逻辑回归的应用场景 广告点击率 是否为垃圾邮件 是否患病 金融诈骗 虚假账号 看到上面的例子，我们可以发现其中的特点，那就是都属于两个类别之间的判断。逻辑回归就是解决二分类问题的利器 2、 逻辑回归的原理 2.1 输入 线性回归的输出是逻辑回归的输入 2.2 激活函数 sigmoid函数 线性回归的结果输入到sigmoid函数当中，得到逻辑回归的输出 输出结果：[0, 1]区间中的一个概率值，默认为0.5为阈值 通过设定阈值，将回归任务转化为分类问题 2.3 损失以及优化
回归与聚类算法————线性回归
zcolaz的博客
03-21 919
目录 1，线性回归 2，线性模型 3、线性回归的损失和优化原理 3.1 损失函数 3.2 优化算法 正规方程 ​ 梯度下降Gradient Descent 3.3 回归性能评估 4，波士顿房价预测案例 5，两种优化算法的对比 6，其他优化方法 6.1 梯度下降(Gradient Descent) GD 6.2 随机梯度下降(Stochastic gradient descent)SGD 6.3 随机平均梯度法(Stochasitc Average Gradient) ...
风电负荷聚类——出力预测
04-28
综上所述，这个项目可能涉及以下几个步骤：数据预处理、特征选择（如使用Fisher判据）、聚类分析（包括K-means和DBSCAN）、风电出力预测模型的构建与评估，以及最终结果的可视化。这些技术和方法在风电行业的数据...
回归与聚类算法————无监督学习-K-means算法
zcolaz的博客
03-21 894
1、 无监督学习 没有目标值的，从无标签的数据开始学习的 聚类 K-means(K均值聚类) 降维 PCA 2、 K-means原理 随机设置K个特征空间内的点作为初始的聚类中心 对于其他每个点计算到K个中心的距离，未知的点选择最近的一个聚类中心点作为标记类别 接着对着标记的聚类中心之后，重新计算出每个聚类的新中心点（平均值） 如果计算得出的新中心点与原中心点一样，那么结束，否则重新进行第二步过程 3，API from sklearn.cluster import KM
回归与聚类——K-Means（六）
qq_37441377的博客
04-26 630
随机设置K个特征空间内的点作为初始的聚类中心。对于其他每个点计算到K个中心的距离，未知的点选择最近的一个聚类中心点作为标记类别。接着对着标记的聚类中心之后，重新计算出每个聚类的新中心点（平均值）。如果计算得出的新中心点与原中心点一样，那么结束，否则重新进行第二步过程
分类任务，回归任务以及排序任务指标评估汇总：F1分值，ROC，AUC，MAE, MSE，MRR, NDCG，RC
BGoodHabit的博客
08-29 3609
分类任务，回归任务，排序任务常见评估指标: ROC, AUC, NDCG, RC等
回归模型的算法性能评价
归去来兮的博客
06-05 1127
在一般形式的回归问题中，会得到系列的预测值，它们与真实值（ground truth）的比较表征了模型的预测能力，为有效量化这种能力，常见的性能评价指标有可解释方差（EVS）、平均绝对误差（MAE）、均方误差（MSE）、均方根误差（RMSE）、决定系数（R2）等。值得一提的是，回归问题分单输出情形和多输出情形，在多输出情形下，可以对各维度结果进行平均计算或以不同的权重进行计算。
【基础知识】机器学习任务之回归与分类定义和评价指标详解
All_In_gzx_cc的博客
04-10 2718
总结 1. 两者本身的区别与联系 区别 （1)回归得出来的值是一一对应的，就是我输入一个值它就会告诉我所对应的精确值，也就是预测值，是连续的，且我每输入一个不同变量，他预测的值只跟这个变量对应，1对1的。 (2)而分类是离散的，是多对1的，比如，我输入一堆狗的图片进去，它都是被判断为狗，我输入一堆猫进去，都判断为猫，是多对1的，而且是离散的。 相同点 本质是一样的，都是通过数据来拟合一个函数，用来预测.我的理解就是可以都称之为回归，只是最后作用不同而已。 分类预测建模问题 与 回归预测建模问题 不同
【理论 | 代码】机器学习分类与回归性能评估指标大全
青年有志
05-03 4259
MSEn1​i1∑n​wi​yi​−yi​​2nSSE​wi​为每个样本数据的权重系数，wi​> 0, 通常为 1范围∞，当预测值与真实值完全吻合时等于0，即完美模型；误差越大，该值越大。总而言之，值越小，机器学习网络模型越精确，相反，则越差。
机器学习 | 第2章（续）性能度量
weixin_60911831的博客
05-22 720
在训练模型的过程中，不仅需要可行的实验估计方法，还需要衡量模型泛化能力的评价标准，简单来说，就是评价模型好不好，下面川宝带你看一看几个常用的性能度量标准： 1.均方误差 回归任务最常用的性能度量是均方误差，即预测值与真实值的差值和再取平均，即 2.错误率与精度 错误率是分类错误的样本数占样本总数的比例，精度则是分类正确的样本数占样本总数的比例。 错误率定义为： 精度定义为： 3.查准率，查全率，F1 查准率是指模型预测的结果中，准确率有多少。 查全率是指模型预测的结果中，所有正
回归模型的性能评价指标（Regression Model Performance Evaluation Metric）
weixin_30732825的博客
07-15 1164
回归模型的性能评价指标（Performance Evaluation Metric）通常有： 1. 平均绝对误差（Mean Absolute Error, MAE）：真实目标y与估计值y-hat之间差值的平均值 （注：m为测试集样本数量，下同） 2. 均方误差（Mean Squared Error, MSE）：真实目标y与估计值y-hat之间差值的平方的平均值 ...
深入理解线性回归模型的评估与优化方法
null18的博客
08-25 2337
然而，在使用线性回归模型时，仅仅构建模型是不够的，还需要对模型进行评估和优化，以确保其在实际应用中表现出色。模型评估是了解模型性能的关键步骤，它帮助我们了解模型在新数据上的表现。特征工程是提高模型性能的关键步骤。均方误差（MSE） 和 均方根误差（RMSE）：对于这两个指标，数值越小越好，因为它们衡量了模型预测值与真实值之间的差异，越小表示模型的预测越接近真实值。决定系数（R-squared）：在决定系数中，数值越接近1越好，因为它表示模型对因变量变化的解释能力，越接近1表示模型能够更好地解释数据的变化。
前馈神经网络回归(ANN Regression)从原理到实战
m0_74096349的博客
05-15 748
前馈神经网络（ANN）在回归问题中表现出色，尤其适用于处理高维、非线性数据。回归任务的核心特征包括输出空间的连续性和误差度量方式，如均方误差（MSE）。网络架构设计时，输出层通常使用线性激活，隐藏层则常用ReLU或Swish激活函数。数学原理上，网络通过多层非线性变换捕捉复杂关系，并通过反向传播算法优化损失函数。实际应用中，TensorFlow/Keras提供了便捷的实现方式，包括数据预处理、模型构建、编译与训练等步骤。关键技术点包括激活函数选择、正则化技术组合和数据预处理最佳实践。进阶优化涉及优化器选择、
改进模糊C均值时序聚类+编码器状态识别！IPOA-FCM-Transformer组合模型
最新发布
机器学习之心的博客，关注并私信文章链接，获取对应文章源码和数据。
05-18 1139
改进模糊C均值时序聚类+编码器状态识别！IPOA-FCM-Transformer组合模型
数据挖掘：第四章分类与回归——数据集构成详解
在数据挖掘原理与实践的第四章PPT中，主要内容围绕数据集的构成和分类与回归的方法论展开。章节首先介绍了数据集的基本结构，其属性包括outlook（晴天、阴天、雨天）、temperature（热、温和、凉爽）、humidity（高...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值