机器学习-模型评估

最新推荐文章于 2024-07-06 11:42:20 发布
原创 最新推荐文章于 2024-07-06 11:42:20 发布 · 252 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

本文介绍了模型评估的离线与在线方法，如准确率、精确率、召回率、F1-Score、ROC曲线和AUC。在离线评估中，提到了验证方法如holdout、交叉验证和自助法，以及模型超参数调优技术。对于过拟合和欠拟合，文章给出了相应的解决方案。在线评估中重点讨论了AB测试及其原则。关键词涉及模型评估、在线评估、AB测试、过拟合和欠拟合。

《百面机器学习》读书笔记

模型评估分为离线评估与在线评估

离线评估

分类问题

准确率Acc（在正负样本不均衡，且少数样本更重要时失效）

精确率Precision：分类正确的正样本个数/分类器判定为正样本的样本个数；TopN@Precision：对于排序问题，将范围限定在前N个，认为前N个是模型判定的正样本

召回率Recall：     分类正确的正样本个数/真实的正样本个数；TopN@Recall：对于排序问题，将范围限定在前N个，认为前N个是模型判定的正样本

PR曲线

 F1-Score：精准率和召回率的调和平均值，

 ROC曲线 / AUC(ROC曲线下面积)

回归问题

 常用 RMSE

 可能有离群点时，用MAPE 对误差做归一化

在线评估

AB TEST https://blog.youkuaiyun.com/Needlyr/article/details/119216107

1. 层与层之间的流量“正交”
上层流量进入下层应该被均匀打散再分组


2. 同层之间的流量“互斥”
同层内的组与组内流量不重叠

离线评估中的验证方法

holdout, 交叉验证, bootstrap自助法

自助法中，对n个样本进行n次自助抽样，n趋于无穷大时，最终有36.8%的样本没有被抽到过，可以被视为验证集使用。

离线训练中的模型超参数调优

网格搜索、随机搜索、贝叶斯优化

模型的过拟合与欠拟合

过拟合：模型在训练集表现很好，测试集表现不好

欠拟合：模型在训练集和测试集表现都不好

过拟合解决方法

数据层面：

1. 增大样本数量

模型层面：

1. 降低模型复杂度

2. 使用正则化的方法

3. 集成学习方法

欠拟合解决方法

数据层面：

1. 增大特征

模型层面：

1. 提高模型复杂度

2. 减小正则化系数

【机器学习-05】模型的评估与选择
qq_38614074的博客
03-19 1万+
在前面的文章中我们已经知道了机器学习的一些基本概念和模型构建的流程，本章我们将介绍模型训练出来后如何对模型进行评估和选择等。
机器学习——模型评估、选择与验证
qq_52669357的博客
04-01 7970
选择 评估 验证训练集与测试集过（欠）拟合偏差与方差 训练集与测试集 为了使机器学习训练的模型有效，可以用于实际情况中，我们不仅需要用训练集来对模型进行训练，还需要用测试集对模型进行测试以验证其可靠高效性。即训练集用来构建机器学习模型，测试集用来评估模型性能。 通常情况下我们都是将数据分为百分之八十和百分之二十，多的那部分用来做训练集，少的那部分用来做测试集。 过（欠）拟合 ① 欠拟合：模型在训练集上误差很高； 原因：模型过于简单，没有很好的捕捉到数据特征，不能很好的拟合数据。 ② 过拟合：在训练集上误差
机器学习之模型评估
dfly_zx的博客
04-08 2573
整体思路：先获取数据，把数据分为训练数据和测试数据，然后在不同k值的模型下分别训练和测试，得出不同k值情况下的模型预测准确性，最后把准确性可视化输出进行整体评估。 1.获取数据 from sklearn import datasets iris=datasets.load_iris() x=iris.data y=iris.target 2.分离数据 from sklearn.model_selection import train_test_split x_train,x_test,y_t
机器学习——模型评估
Dron_Chan的博客
04-08 2476
模型评估是指在机器学习中，对于一个具体方法输出的最终模型，使用一些指标和方法来评估它的泛化能力。这一步通常在模型训练和模型选择之后，正式部署模型之前进行。模型评估不针对模型本身，而是针对问题和数据，因此可以用来评价不同方法的模型的泛化能力，以此决定最终模型的选择。
【机器学习】模型评估
热门推荐
sikh_0529的博客
09-18 1万+
​ 一般情况来说，单一评分标准无法完全评估一个机器学习模型。只用good和bad偏离真实场景去评估某个模型，都是一种欠妥的评估方式。下面介绍常用的分类模型和回归模型评估方法。分类模型常用评估方法：回归模型常用评估方法：在机器学习中，Bias(偏差)，Error(误差)，和Variance(方差)存在以下区别和联系：**对于Error **：误差（error）：一般地，我们把学习器的实际预测输出与样本的真是输出之间的差异称为“误差”。Error = Bias + Variance + Noise，Error反
机器学习模型评估
yalongwan01的专栏
08-31 238
机器学习-模型评估与优化（含数据集）
最新发布
03-06
机器学习模型评估与优化是一个复杂而深入的领域，涉及到统计学、计算理论、算法设计等多个学科的知识。通过对模型评估与优化的深入学习，不仅可以提高模型预测的准确性，还可以加深对机器学习工作流程的理解，从而...
MartinGsus99#HexoBlog#机器学习-CH2-模型评估与选择1
07-25
一、经验误差与过拟合 二、评估方法 三、性能度量 四、比较检验（见《概率论》） 五、偏差与方差
机器学习 - 模型性能评估
暴力扬
07-06 1883
F1度量是用于评估分类模型性能的一个综合指标，它同时考虑了查准率（Precision, P）和查全率（Recall, R）。其中，TP（True Positive）是真正例，FP（False Positive）是假正例，FN（False Negative）是假负例。如果我们对查准率和查全率有不同的偏好，可以使用加权F度量（Fβ），其中β是一个权重参数。这个公式可以帮助我们理解在不同的β值下，查准率和查全率对Fβ的贡献。
机器学习—模型评估
cy925777075的博客
08-02 1331
参考《百面机器学习》 准确率 在机器学习中，准确率（Accuracy）是一个比较常见的模型评估指标，通过准确率，我们可以大致判断模型的性能如何，但是，准确率确有一定的局限性。试想有100个样本，其中有90个都是正样本，只有10个是负样本，然后有一个分类器将所有的结果都预测成了正类，那么，我们得到的准确率便是90%，可是对于负样本来说，预测正确的个数却是0个。那么这个分类器的性能算好吗？当然不算。即便是具有90%的正确率，但是在样本集中数据的分布是严重不均衡的（实际项目中绝大多数情况的数据都是不均衡的），因此
机器学习 - 模型评估
weixin_47243236的博客
08-23 736
模型评估 二分类模型：交叉验证；准确率、召回率、F1F_1F1​、阈值、ROC & AUC 多分类模型：交叉验证；准确率、召回率、F1F_1F1​ 回归模型：均方误差（MSE）、R2R^2R2 聚类模型：轮廓系数 评估方法 留出法 留出法（Hold-Out）：直接将数据集划分为两个互斥的集合，分别作为训练集核测试集，训练出模型后用测试集来评估其测试误差。作为对泛化误差的度量 数据集的划分要尽可能数据分布的一致性，避免分布差异造成对结果的影响。单次的留出法得到的结果往往不够可靠，应当采用若干次随机化分
Python实现机器学习模型与算法入门
- 评估机器学习模型的标准 3. 关键机器学习算法与模型 - 线性回归（Linear Regression） - 逻辑回归（Logistic Regression） - 决策树（Decision Trees） - 随机森林（Random Forests） - 支持向量机...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值