【机器学习基础】CH2 - 监督学习(?)交叉验证

最新推荐文章于 2025-12-04 22:05:42 发布
原创 最新推荐文章于 2025-12-04 22:05:42 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #人工智能

本文探讨了交叉验证在模型选择和性能评估中的关键作用，揭示其局限性，如过度拟合问题，以及为何不总是依赖测试数据。同时，详细解释了如何克服数据可用性和误差估计的问题。
Cross validation

很全面的资料：https://mp.weixin.qq.com/s/B2mOhJodeW_0Mpq94e0EXg

  • 测试数据 是对我们模型性能的最终测试。

  • 我们是否总是依赖 测试数据 进行模型评价和选择?

    1. 它并不总是可用的

    2. 没有平均误差估计：取决于怎么分的组

    3. 我们可能会对测试数据进行“过度拟合”：

[半监督学习] Semi-supervised Learning for Regression with Co-training by Committee
不定期更新 Web 开发及机器学习相关博客
02-16 1738
提出了一个半监督回归框架 CoBCReg, 其既不需要冗余独立视图, 也不需要不同的基础学习算法. 现实数据并不总是能被划分为两个冗余的视图, 因此, 与传统的 Co-Training 相比, CoBCReg 基于单视图.
使用交叉监督进行半监督语义分割（CVPR2021语义分割）
CV计算机视觉
07-06 4561
今天和大家分享CVPR2021中语义分割领域的一篇文章，面向半监督语义分割领域。 论文下载链接：https://arxiv.org/abs/2106.01226 代码下载链接：https://github.com/charlesCXK/TorchSemiSeg 0.动机 训练语义分割任务的卷积神经网络通常需要像素级别（pixel-level）的人工标注，相比于其他视觉任务，这种标注信息较为昂贵。因此，使用半监督方法，利用带标注信息的数据和无标注信息的数据一起训练语义分割网络是很有意义的。 作者提出了cro
伪标签：教你玩转无标签数据的半监督学习方法
lizz2276的博客
06-19 5946
对于每个机器学习项目而言，数据是基础，是不可或缺的一部分。在本文中，作者将会展示一个名为伪标签的简单的半监督学习方法，它可以通过使用无标签数据来提高机器学习模型的性能。 伪标签 为了训练机器学习模型，在监督学习中，数据必须是有标签的。那这是否意味着无标签的数据对于诸如分类和回归之类的监督任务就无用了呢？当然不是! 除了使用额外数据进行数据分析，还可以将无标签数据和标签数据结合起来，一同训练半监督学习模型。 该方法的主旨思想其实很简单。首先，在标签数据上训练模型，然后使用经过训练的模型来预测无.
监督学习的交叉验证：改进模型
AI天才研究院
01-07 993
1.背景介绍 监督学习是机器学习中最基本的学习方法之一，它需要预先标记的数据集来训练模型。在监督学习中，我们通过学习已经标记的数据集来构建模型，以便在未知数据上进行预测。然而，在实际应用中，我们经常面临着过拟合的问题，这会导致模型在训练数据上表现出色，但在新的测试数据上表现较差。为了解决这个问题，我们需要一种方法来评估模型在未知数据上的性能，并进行相应的调整。这就是交叉验证的概念所解决的问题。 ...
监督学习之七——交叉分解（Cross decomposition）
李豪的博客
09-07 853
交叉分解
CH2-机器学习基础模型回顾-2
Ghost_111的博客
08-22 250
偏差与方差理论 随着模型复杂度的不断增加，模型在训练集上的表现不断变好甚至使训练误差接近0（过拟合），而在测试集上的表现先变好后变差。 测试均方误差曲线呈现U型曲线，这表明了在测试误差曲线中有两种力量在互相博弈。可以证明： E(y0−f^(x0))2=Var⁡(f^(x0))+[Bias⁡(f^(x0))]2+Var⁡(ε) E\left(y_{0}-\hat{f}\left(x_{0}\right)\right)^{2}=\operatorname{Var}\left(\hat{f}\left(x_
《机器学习》周志华-CH2（模型评估与选择）
一名混沌的大学生
08-22 1110
eg：你是一个老师，数了学生10道题，你对他进行考核时，肯定不是考这10道题，才能体现他“举一反三”的能力。在很多情形下，根据预测结果对样例排序，排前面的“最可能”是正例的样本，排后面的“最不可能”是正例的样本。通过“测试集”来测试学习器对新样本的判别能力，然后以测试集上的“测试误差”作为“泛化误差”的近似。学习器比较时，若一个包住另一个，则可说前者优于后者，若有交叉，则分情况，比较合理的判断是比较。设前一个标记点坐标为。个反例，首先根据预测排序，然后将分类阈值设为最大，即把所有的样例均预测为反例，此时。
【机器学习导引】ch2-模型评估与选择
2665000101@qq.com
09-12 875
回归任务：常用 MSE、MAE、Huber 损失等。分类任务：常用交叉熵损失、Hinge 损失、Softmax 损失等。生成模型/概率测量：常用 KL 散度等。损失函数的选择取决于具体的任务类型、数据特性以及模型需求。错误率和精度是评估模型性能的两个基本指标。错误率衡量模型的错误预测比例，而精度则衡量模型的正确预测比例。两者之间的关系是互补的，精度等于111减去错误率。查准率衡量的是预测为正类的准确性。查全率衡量的是对所有正类样本的覆盖程度。F1值。
《机器学习》阅读心得体会（CH1 CH2）
m0_72769049的博客
06-18 733
阿瑟·塞缪尔（Arthur Samuel）的定义：“机器学习是研究如何让计算机利用经验改善性能的学科”。汤姆·米切尔（Tom Mitchell）的定义：“如果计算机程序在任务T上的性能P随着经验E的增加而提高，那么就可以说这个程序在从经验E中学习”。机器学习的核心是让计算机能够通过数据自动学习规律，而不是依赖于人工编写固定的程序。其研究的内容是关于在计算机上从数据中产生“模型”的算法，即“学习算法”。机器学习的主要流程有数据收集与清洗、特征工程、模型选择与训练、模型评估与优化。
周志华《机器学习》课后习题解答系列（三）：Ch2 - 模型评估与选择
热门推荐
Snoopy_Yuan技术部落格
03-15 2万+
本章概要 本章讲述了模型评估与选择（model evaluation and selection）的相关知识： 2.1 经验误差与过拟合（empirical error & overfitting） 精度accuracy、训练误差（经验误差）training error（empirical error）、泛化误差**generalization error、过拟合**overf...
机器学习课程资料
10-04
这些PPT覆盖了机器学习的基础理论和核心算法，通过深入学习和实践，读者将能够掌握机器学习的核心技能，为进一步研究深度学习、神经网络等高级主题奠定坚实基础。同时，英文版的资料也提供了阅读原版文献和技术文档...
【Scikit-Learn 中文文档】交叉验证 - 模型选择和评估 - 用户指南 | ApacheCN
妳那伊抹微笑的专栏
11-27 1179
学习一个预测函数的参数，并在相同数据集上进行测试是一种错误的做法: 一个仅给出测试用例标签的模型将会获得极高的分数，但对于尚未出现过的数据 它则无法预测出任何有用的信息。 这种情况称为“过拟合”（overfitting）. 为了避免这种情况，在进行（监督）机器学习实验时，通常取出部分可利用数据作为实验测试集（test set）： X_test, y_test。 需要强调的是这里说的“实验（experiment）”并不仅限于学术（academic），因为即使是在商业场景下机器学习也往往是从实验开始的。 利用s
深度盘点：8000字详细介绍 Python 中的 7 种交叉验证方法
Python学习与数据挖掘
11-21 7521
在任何有监督机器学习项目的模型构建阶段，我们训练模型的目的是从标记的示例中学习所有权重和偏差的最佳值。 如果我们使用相同的标记示例来测试我们的模型，那么这将是一个方法论错误，因为一个只会重复刚刚看到的样本标签的模型将获得完美的分数，但无法预测任何有用的东西 - 未来的数据，这种情况称为过拟合。 为了克服过度拟合的问题，我们使用交叉验证。 所以你必须知道什么是交叉验证？ 以及如何解决过拟合的问题？ 什么是交叉验证？ 交叉验证是一种用于估计机器学习模型性能的统计方法，它是一种评估统计分析结果如何推广到独立数据
有监督、无监督、泛化能力、过拟合欠拟合、交叉验证
qiuye1117的博客
03-29 3200
　　1.机器学习的一些概念： 　　 a.有监督学习：训练数据既有特征（feature）又有标签（lable），通过训练，让机器可以自己找到特征和标签之间的联系，在面对只有特征没有标签的数据时，可以判断出标签。 　　 b.无监督学习：训练样本的标记信息未知，，目标是通过对无标记训练样本的学习来揭示数据的内在性质，及规律，为进一步的数据分析提供基础，此类学习任务中研究最多，应用最广的是聚类...
【机器学习】23-25 决策树 & 树集成
weixin_54010404的博客
12-02 1197
本文系统性地介绍了决策树模型及其相关算法。首先阐述了决策树的基本结构与学习过程，重点讨论了如何通过最大化信息增益选择最优划分特征，并详细解释了熵作为纯度衡量指标的计算方法。文章涵盖了分类树与回归树的构建逻辑，包括离散特征处理（独热编码）和连续特征阈值选择。 进一步，文章深入探讨了决策树集成方法，重点分析了随机森林算法通过放回抽样和特征随机选择来增强模型鲁棒性的机制。特别介绍了XGBoost算法的核心优势：自适应样本权重调整、内置正则化和高效实现。最后，文章对比了决策树集成与神经网络的应用场景。
0011机器学习特征工程
老欧学视觉的博客
12-03 734
本文系统介绍了机器学习特征工程的关键内容，包括特征工程在机器学习流程中的重要性、数据处理方法和降维技术。主要内容涵盖：1）特征工程的核心作用是通过数据预处理提升模型效果，包括异常值处理、数据平衡、文本向量化等；2）详细讲解了数据清洗、缺失值填充、标准化/归一化、One-Hot编码等基础处理方法；3）重点阐述了文本特征提取技术（词袋法、TF-IDF）和降维方法（特征选择、PCA、LDA）。文章强调特征工程需结合业务场景进行特征衍生和优化，占整个开发流程30%-50%的工作量，是机器学习项目成功的关键环节。
学习笔记二十三：支持向量机-间隔与支持向量
dengdaijc的专栏
12-02 743
本文介绍了支持向量机(SVM)的基本原理。SVM通过在样本空间中寻找最优划分超平面来实现分类，其核心思想是最大化分类间隔以提高泛化能力。关键概念包括：划分超平面的数学表示（由法向量和位移项定义）、支持向量（决定超平面位置的最近样本点）以及间隔（反映分类置信度）。SVM的基本型是一个凸二次规划问题，通过最小化法向量范数平方来最大化间隔，同时满足所有样本正确分类的约束条件。该方法具有理论严谨、模型稀疏、全局最优等优势，是经典的分类学习算法。
机器学习--损失函数
weixin_57225400的博客
12-04 382
损失函数（Loss Function）是机器学习中用于衡量模型预测值与真实值之间差异的函数，是优化算法的核心目标。通过最小化损失函数，模型逐步调整参数以提高预测准确性。通过组合现有函数或设计新公式满足特定需求。加权MSE：为不同样本分配不同权重。正则化损失：加入L1/L2惩罚项防止过拟合。
【机器学习三大范式对比总结】
最新发布
严文文 Chris
12-04 278
当初我学机器学习，一看到这些复杂的表格和术语就头疼。直到有一天，我意识到，这三种学习范式其实就像我们人类不同的学习方式，我才恍然大悟。现在，我希望以这段心路历程，带你用全新的视角理解它们。想象你被丢进一个完全陌生的市场，没有任何商品标签。你正在用什么范式面对你的知识、你的工作、你的人生困境呢？这个问题的答案，或许比任何算法选择都更有价值。所以，理解这三大范式，不仅仅是记住一张表格。它是在理解机器如何“学习”的同时，反过来。），你通过反复练习，学会从题目推导答案的。），自我完善，实现“举一反三”。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值