Self training记录和学习

原创 已于 2022-07-23 10:40:15 修改 · 787 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#学习 #机器学习 #算法

于 2022-07-22 21:44:14 首次发布
本文深入探讨了Self Training的学习过程，包括算法流程、伪标签的概念及其有效性。通过利用有标签数据训练初始分类器，对无标签数据进行预测并筛选出最自信的样本，不断迭代更新训练集，直至达到停止条件。伪标签方法利用最大预测概率作为类别，有助于熵最小化，符合半监督学习的决策边界和熵最小化假设，旨在提高模型的泛化性能。

目录

前言

本文记录和学习self training相关的知识。

1.算法

在这里插入图片描述

上面是self-training的算法流程图，简单解释一下：
1，将初始的有标签数据集作为初始的训练集(Xtrain,ytrain)=(Xl,yl)(Xtrain,ytrain)=(Xl,yl)，根据训练集训练得到一个初始分类器CintCint。
2，利用CintCint对无标签数据集XuXu中的样本进行分类，选出最有把握的样本(Xconf,yconf)(Xconf,yconf)
3，从XuXu中去掉(Xconf,yconf)(Xconf,yconf)
4，将(Xconf,yconf)(Xconf,yconf)加入到有标签数据集中，(Xtrain,ytrain)←(Xl,yl)∪(Xconf,yconf)(Xtrain,ytrain)←(Xl,yl)∪(Xconf,yconf)
5，根据新的训练集训练新的分类器，重复步骤2到5直到满足停止条件（例如所有无标签样本都被标记完了）
最后得到的分类器就是最终的分类器。

	版权声明：这是优快云博主「tyh70537」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
	原文链接：https://blog.youkuaiyun.com/tyh70537/article/details/80244490

2.更详细的self training(包含

最低0.47元/天 解锁文章
自训练Self-Training学习总结
Pistachiout的学习博客
04-13 1万+
Self-training是最简单的半监督方法之一，其主要思想是找到一种方法，用未标记的数据集来扩充已标记的数据集。即首先用有标签数据训练一个分类器，然后用这个分类器对无标签数据进行分类，这样就会产生伪标签（pseudo label）或软标签（soft label），挑选一定标准的伪标签样本用来迭代训练分类器。使用场景：在现实生活中得到大量有标签数据需要大量时间经历，而自训练是有标签数据+无标签数据混合成的训练数据中使用的深度学习算法，可以利用自训练方法对无标记数据进行标记，实现己标记数据的扩充。
半监督学习 - 自训练（Self-training）
galoiszhou的博客
01-12 1815
（Self-training）是一种利用已标记数据和未标记数据进行模型训练的方法。
当 AI 学会“自己训自己”：一文看尽 Self-Training 的核心套路与落地陷阱
最新发布
qq_74383080的博客
09-11 435
摘要：Self-Training（自训练）是一种半监督学习方法，通过模型生成伪标签反哺训练，缓解数据标注不足问题。核心流程包括初始化教师模型、生成高置信度伪标签、迭代重训。在NLP和CV任务中，结合阈值调整、数据增强等技术可显著提升效果（如CIFAR-10准确率提升16.3%）。工业落地需注意噪声累积和领域适配，适用场景需满足未标注数据充足、初始模型性能较优等条件。高阶变种如NoisyStudent和元学习调参进一步优化效果，是中小团队构建数据飞轮的高性价比方案。
Self-training在目标检测任务上的实践
Paper weekly
07-31 1670
©PaperWeekly 原创 ·作者｜燕皖单位｜渊亭科技研究方向｜计算机视觉、CNN在监督学习中，模型都是需要有一个大量的有标签的数据集进行拟合，通常数据成本、人力成本都很高。而现实...
Self-Training：用半监督的方式对任何有监督分类算法进行训练
deephub
12-08 6743
本文将对Self-Training的流程做一个详细的介绍并使用Python 和Sklearn 实现一个完整的Self-Training示例。 半监督学习结合了标记和未标记的数据，可以扩展模型训练时可用的数据池。 我们无需手动标记数千个示例，就可以提高模型性能并节省大量时间和金钱。 如果你经常使用有监督的机器学习算法，你肯定会很高兴听到：可以通过一种称为Self-Training的技术快速调整模型的训练方法并享受到半监督方法的好处。 Self-Training属于机器学习算法的半监督分支，因为它使用标记和未
2021-03-10自训练self-training
一亩高粱
03-10 5756
自训练，对未标注数据进行自适应采样。
Group based Self Training for E-Commerce Product Record Linkage
02-10
1. 半监督学习：半监督学习是一种机器学习方法，它结合了有监督学习和无监督学习。在有标签数据有限而无标签数据充足的情况下，半监督学习尤为有效。本文通过自训练算法（一种半监督学习算法）来解决产品记录链接...
Classic-Self-Training:经典的文本分类自训练
03-09
自训练（Self-Training）是一种半监督学习方法，它在只有少量标注数据的情况下，通过利用大量未标注数据来提高模型的性能。这种技术在处理大规模文本数据时特别有效，因为它可以降低对人工标注的依赖。在这个名为...
【论文学习笔记】Forecast-MAE: Self-supervised Pre-training for Motion Forecasting with Masked Autoencoders
技术宅学长的博客
11-02 1460
本研究探讨了自监督学习(SSL)在运动预测任务中的应用，尽管SSL在计算机视觉和自然语言处理中取得了广泛的成功，但这一领域尚未得到广泛的研究。为了解决这一差距，我们引入了Forecast-MAE，这是掩模自编码器框架的扩展，专为运动预测任务的自监督学习而设计。我们的方法包括一种新的掩蔽策略，该策略利用了智能体轨迹和道路网络之间的强互连，包括对智能体未来或历史轨迹的互补掩蔽和车道段的随机掩蔽。
（Re-ID论文精读）PASS: Part-Aware Self-Supervised Pre-Training for Person Re-Identification
qq_55794606的博客
01-31 1985
提出问题（挖坑）：文章一开始直接表明，现有的reid的backone都是直接在imageNet的数据集进行SSL（此处挖个坑，后面讲什么是ssl）的预训练，而ImageNet,是一个主要是以分类任务的数据集不适合Person reid 领域，因此设计了一个PASS这个网络填坑：这个PASS就是为了解决这个问题的，但是有人问了，那我构造一个关于RE-id的大规模数据集在这个上面预训练就行了呗，还需要其他东西吗。
self-training and co-training
Calm__down的专栏
04-18 3678
Semi-supervised learning methods widely used include:1.EM with generative mixture models2.self-training3.co-training4.transductive support vector machines5.graph-based methodsself-training:A classifier is first traind with the small amount of labeled data.
self-training-self-supervised-disfluency
05-27
自我训练自我监督的流落感 结合自我训练和自我监督学习进行无监督的泄气检测 此存储库包含用于将自训练和自监督学习相结合以进行无监督流失检测的代码和模型（EMNLP 2020）。 所有代码和模型均已发布。 感谢您的耐心等待！ 关于模型 我们发布了由伪数据和语法检查模型训练的自我监督模型。 请在以下链接中下载它，并将模型放在“ self_supervised_model”和“ grammar_check_model”文件夹中。 如何使用 conda create -n ss_disfluency python=3.7 conda activate ss_disfluency conda install pytorch torchvision torchaudio cudatoolkit=10.1 -c pytorch cd transformers python setup.py insta
SIMetrix-Self-Training-simetrix自学培训教程及培训例子文件
05-19
下载的文件是一个.msi安装程序（安装教程的例子源文件）及教程PDF文档。通过双击来运行它。这将安装一个培训PDF文件中的教程例子源文件，这些文件将被安装到我的文档\SIMetrix\Training
半监督学习之self-training
热门推荐
tyh70537的博客
05-08 2万+
一，半监督学习 　　半监督学习是一种介于监督式学习和无监督学习之间的学习范式，我们都知道，在监督式学习中，样本的类别标签都是已知的，学习的目的找到样本的特征与类别标签之间的联系。一般来讲训练样本的数量越多，训练得到的分类器的分类精度也会越高。但是在很多现实问题当中，一方面由于人工标记样本的成本十分高昂，导致了有标签的样本十分稀少。而另一方面，无标签的样本很容易被收集到，其数量往往是有标签样本的上
半监督学习笔记：self-training
qq_40206371的博客
01-22 660
自训练需要迭代多次，且几乎所有的发现高置信度无标记样本的方法都需要排序置信度值，排序过程增加了计算时间，所以计算时间会较长。
self training
stdleohao的博客
10-02 1031
What is self-training? 在监督学习中，模型都是需要有一个大量的有标签的数据集进行拟合，通常数据成本、人力成本都很高。而现实生活中，无标签的样本的收集相对就很容易很多。因此，近年来，利用大量的无标签样本和少量的有标签样本的半监督学习备受关注。 Self-training 是最简单的半监督方法之一，其主要思想是找到一种方法，用未标记的数据集来扩充已标记的数据集。 ICML 2013:The Simple and EfficientSemi-Supervised Learning Met
半监督学习算法中自训练（Self-training）
牛肉胡辣汤
08-30 2552
在半监督学习中，我们通常有一个带有标签的小型数据集和一个未标记的大型数据集。自训练算法通过使用已经标记的数据来训练一个初始模型，然后使用这个模型来对未标记的数据进行预测。根据预测结果，将置信度较高的样本添加到已标记的数据集中，然后使用这个更新后的标记数据集来重新训练模型。这个过程不断迭代，直到达到停止条件。请注意，这只是一个简单的示例，实际的代码实现可能会有更多的细节和优化。具体的实现方式可能因使用的机器学习框架和算法而有所不同。因此，建议根据具体的情况和需求来选择和调整代码实现。
自训练和协同训练简述
云隐雾匿的博客
03-17 2457
自训练和协同训练简述，在深度学习中，自训练和协同训练是两种常见的半监督学习算法，本文将简单介绍两种算法的基本思想。
YOLOV7学习记录之
05-31
- 在训练过程中使用 Self-Adversarial Training（SAT）技术，增加了模型的抗扰动能力； - 引入了 Focal Loss 和 Label Smoothing 技术，优化了模型的训练效果。 2. YOLOv7 的安装和使用： YOLOv7 可以通过 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值