12、机器学习中的不确定性采样与多样性采样策略

最新推荐文章于 2025-12-04 22:05:42 发布
最新推荐文章于 2025-12-04 22:05:42 发布
阅读量26 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 人机协同：数据驱动AI未来 文章标签： 机器学习 不确定性采样 多样性采样
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/spark7igniter/article/details/151592021

机器学习中的不确定性采样与多样性采样策略

1. 不确定性采样

1.1 进一步阅读资源

不确定性采样已经存在很长时间，有许多相关的优秀文献。对于最前沿的研究，可以查找那些被频繁引用的近期论文。需要注意的是，大多数论文不会将分数归一化到 [0, 1] 范围。如果要将模型部署到实际场景中，强烈建议对输出进行归一化。即使归一化不会改变准确性，但会使抽查更容易，并防止下游处理出现问题。

以下是不同类型不确定性采样的早期优秀论文：
| 采样类型 | 论文标题 | 论文链接 |
| ---- | ---- | ---- |
| 最小置信度采样 | “Reducing labeling effort for structured prediction tasks” | http://mng.bz/opYj |
| 置信度边际采样 | “Active Hidden Markov Models for Information Extraction” | http://mng.bz/nMO8 |
| 置信度比率采样 | 暂未找到相关论文，但与置信度边际采样相关，可参考其文献 | 无 |
| 基于熵的采样 | “Committee-Based Sampling For Training Probabilistic Classifiers” | http://mng.bz/vzWq |
| 其他机器学习模型 | “A Sequential Algorithm for Training Text Classifiers” | http://mng.bz/4ZQg |
| 基于集成的不确定性采样 | “Deep Bayesia

订阅专栏 解锁全文 会员秒杀 ¥9.9 重磅福利 超级会员免费看
类别不平衡处理：Focal Loss与重采样策略
优快云博客专家，系统架构师，有合作、疑惑请私信博主。
07-29 3万+
类别不平衡处理：Focal Loss与重采样策略​ ，人工智能，计算机视觉，大模型，AI，在机器学习和深度学习的实际应用中，类别不平衡是一个非常常见的问题。它指的是在训练数据集中，不同类别的样本数量差异很大。比如在医疗诊断中，患有某种罕见疾病的样本可能只占总样本的百分之几，甚至更少；在欺诈检测中，欺诈交易的样本数量也远远少于正常交易的样本。这种不平衡的情况会对模型的训练和性能产生很大的影响，导致模型更倾向于预测数量多的类别，而忽略数量少的类别，从而降低模型的整体性能和可靠性。
采样和欠采样与类对齐策略
百态老人的博客
12-22 704
处理不平衡数据集的方法多种多样，选择合适的策略需要根据具体的数据集和任务需求来决定。欠采样和过采样各有优缺点，而混合采样和类对齐策略则提供了更为灵活和有效的解决方案。合理应用这些技术可以帮助提升机器学习模型在不平衡数据集上的性能。评估不同采样策略在特定不平衡数据集上的效果需要综合考虑多个因素，包括数据集的特性、模型的需求以及采样策略的适用性和局限性。数据集分析不平衡程度：首先，需要分析数据集的不平衡程度，了解各类别样本数量的比例。例如，如果正类样本数量远少于负类样本，那么数据集可能具有严重的不平衡问题。
【机器学习】样本不均衡问题解决策略（欠采样方法总结）
又喝真露的学习记录
02-11 2236
在选择欠采样方法时，没有一个方法可以在所有情况下都普遍适用并效果最好。不同的欠采样方法在实际应用中的效果取决于数据的具体特征类分布情况噪声水平以及实际任务要求。不过，以下是对这些方法的优缺点和适用场景的综合分析，结合它们的特点，找出可能在不同场景下表现更突出的几种方法。如果数据包含噪声或边界模糊，推荐从ENN、NCR入手；如果少数类边界样本很重要，可尝试NearMiss 或 IHT；如果复杂度和计算资源不是问题，OSS、IHT是全方位的选择；
《机器学习》 逻辑回归 大批量数据的下采样 ＜8＞
wx_AHao1004Y的博客
08-21 1249
下采样是通过减少多数类样本的数量来达到数据平衡的目的。首先，确定数据集中的多数类样本，即数量较多的类别。然后，从多数类样本中随机选择一部分样本，使其数量与少数类样本相当。最后，将选取得到的样本与少数类样本一起构成新的平衡数据集。下采样的优点是简单快速，减少了计算资源的需求。但缺点是可能丢失一些多数类样本的重要信息，从而导致模型性能下降。
自然语言处理｜Top-K 采样如何解锁文本生成的多样性？
紫雾凌寒
03-18 1213
Top-K 采样作为一种改进的采样策略，在文本生成中扮演着重要角色。它通过限制候选词的范围，仅从概率最高的 K 个词中进行随机采样，有效平衡了生成文本的多样性与合理性。这种方法既避免了贪心搜索的刻板单调，又克服了随机采样的无序性，在实际应用中表现出色。例如，在智能聊天机器人中，Top-K 采样可以让机器人根据用户输入生成多样且自然的回复，如“你今天过得怎么样？”可能得到“挺好的，谢谢关心！”或“还不错，忙了一天。”，提升用户体验。在自动文本创作中，Top-K 采样能生成更具创意和可读性的段落，例如描述一个科
主动学习（Active Learning）系列介绍（二）不确定度采样（Uncertainty Sampling）
杨小浩浩的博客
06-02 9107
本文介绍主动学习Active Learning中的第一种query selection framework—— 不确定度采样Uncertainty Sampling。
机器学习笔记02---集成学习---多样性增强
m0_64007201的博客
10-20 1081
机器学习--多样性增强
【机器学习】主动学习-增加标签的操作方法-流式选择性采样（Stream-based selective sampling）
IT古董
01-13 902
Stream-based selective sampling 是一种主动学习方法，在处理大量数据流时特别有用。它允许学习算法动态选择是否对当前数据实例进行标注（通过与 Oracle 交互）。此方法主要应用于流数据场景中，目的是在不标注所有数据的情况下，提升模型性能。
【机器学习】基于Softmax松弛技术的离散数据采样
MUKAMO的博客
06-22 2389
本文介绍了Gumbel-Softmax技巧，它允许在深度学习模型中对离散变量进行可微分采样。通过结合Gumbel噪声和softmax函数，该技巧使得梯度能够流经离散采样步骤，有效应用于变分自编码器（VAE）等模型。文章还探讨了Softmax松弛技术，通过温度参数控制采样的随机性，以及如何使用直通估计器处理离散输入。最后，讨论了Gumbel-Softmax在深度学习中的潜在应用和未来研究方向，为开发智能AI系统提供了新的可能性。
主动学习（Active Learning） 概述、策略和不确定性度量
deephub
06-21 6031
主动学习是指对需要标记的数据进行优先排序的过程，这样可以确定哪些数据对训练监督模型产生最大的影响。主动学习不是一次为所有的数据收集所有的标签，而是对模型理解最困难的数据进行优先级排序，并仅对那些数据要求标注标签。然后模型对少量已标记的数据进行训练，训练完成后再次要求对最不确定数据进行更多的标记。通过对不确定的样本进行优先排序，模型可以让专家（人工）集中精力提供最有用的信息。这有助于模型更快地学习，并让专家跳过对模型没有太大帮助的数据。这样在某些情况下，可以大大减少需要从专家那里收集的标签数量，并且仍然可以得
10、机器学习中的不确定性采样与多样性采样策略
3a9bq4r8t2y的博客
08-18 36
本博文详细介绍了机器学习中的不确定性采样和多样性采样策略。不确定性采样用于识别模型的‘已知未知’，包括最小置信度采样、置信度边际采样、置信度比率采样和熵采样等方法；而多样性采样则关注模型的‘未知未知’，通过基于模型的异常值采样、基于聚类的采样、代表性采样和真实世界多样性采样等策略提升模型的覆盖范围和泛化能力。文章还讨论了如何在PyTorch中获取隐藏层信息、多样性采样的评估方式、实际应用案例以及未来发展方向。
12、机器学习中的不确定性采样与多样性采样
pea55的博客
08-10 55
本文详细探讨了机器学习中的不确定性采样和多样性采样方法。不确定性采样帮助识别模型的‘已知未知’，包括最小置信度、置信度边际、置信度比率和基于熵的采样策略。而多样性采样则关注模型的‘未知未知’，通过基于模型的离群值采样、聚类采样、代表性采样和真实世界多样性采样等方式提高数据的多样性和模型泛化能力。文章还介绍了如何评估多样性采样效果，并讨论了其在实际应用中的挑战与应对策略。
【模式识别与机器学习（8）】主要算法与技术（下篇：高级模型与集成方法）之 元学习与集成方法：组合多个学习器来提高整体性能
hiliang521的博客
12-02 801
【模式识别与机器学习（8）】主要算法与技术（下篇：高级模型与集成方法）之 元学习
【模式识别与机器学习（15）】机器学习算法-主成分分析
hiliang521的博客
12-02 834
【模式识别与机器学习（15）】主成分分析
当AI遇见MEMS：机器学习如何优化微振镜的控制与可靠性预测
m0_57847742的博客
12-04 978
您认为在控制优化与可靠性预测这两个方向中，哪一项的产业化落地会更快，面临的障碍更小？
用Python玩转GAN：让AI学会“造假”的艺术
2303_77568009的博客
12-03 1431
本项目基于PyTorch实现了生成对抗网络（GAN），用于生成手写数字图像。通过搭建生成器和判别器的卷积神经网络结构，采用对抗训练策略，成功在MNIST数据集上训练出能够生成逼真数字图像的模型。实践过程中解决了GPU环境配置、Windows多进程加载数据、网络优化等关键技术问题，最终实现了从随机噪声到清晰数字图像的端到端生成。该实践加深了对深度学习框架使用、模型训练调优及GAN原理的理解，为机器学习算法学习提供了完整案例。
机器学习--损失函数
weixin_57225400的博客
12-04 335
损失函数（Loss Function）是机器学习中用于衡量模型预测值与真实值之间差异的函数，是优化算法的核心目标。通过最小化损失函数，模型逐步调整参数以提高预测准确性。通过组合现有函数或设计新公式满足特定需求。加权MSE：为不同样本分配不同权重。正则化损失：加入L1/L2惩罚项防止过拟合。
正态分布：机器学习中的统计基石与高斯遗产
拒绝AI玄学，只聊真技术▲
12-01 837
正态分布不仅仅是统计学中的一个公式，它是理解随机现象的基础框架。在机器学习中，正态分布的假设虽然有时过于理想化，但它提供了强大的数学工具和直观的解释框架。然而，现实世界的数据常常偏离正态性（如金融数据中的厚尾分布），这推动了更复杂分布模型的发展，如t分布、拉普拉斯分布、广义极值分布等。此外，非参数方法（如核密度估计）和不做分布假设的机器学习算法（如随机森林、梯度提升树）也在许多场景下表现出优越性。即使面对复杂的世界，通过恰当的数学模型，我们仍然能够捕捉和利用其中的规律性。
【机器学习三大范式对比总结】
最新发布
严文文 Chris
12-04 210
当初我学机器学习，一看到这些复杂的表格和术语就头疼。直到有一天，我意识到，这三种学习范式其实就像我们人类不同的学习方式，我才恍然大悟。现在，我希望以这段心路历程，带你用全新的视角理解它们。想象你被丢进一个完全陌生的市场，没有任何商品标签。你正在用什么范式面对你的知识、你的工作、你的人生困境呢？这个问题的答案，或许比任何算法选择都更有价值。所以，理解这三大范式，不仅仅是记住一张表格。它是在理解机器如何“学习”的同时，反过来。），你通过反复练习，学会从题目推导答案的。），自我完善，实现“举一反三”。
基于聚类不确定性加权的主动领域适应方法研究
这种方法的优势体现在多个层面：第一，它有效避免了传统不确定性采样中常见的“异常值陷阱”——即模型可能对远离数据流形的离群点表现出极高不确定性，但这些样本对整体性能提升帮助甚微；第二，通过聚类机制引入...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值