伪标签(Pseudo-Labelling)

最新推荐文章于 2025-10-09 08:18:56 发布
转载 最新推荐文章于 2025-10-09 08:18:56 发布 · 1.3w 阅读 · 218 ·
CC 4.0 BY-SA版权
原文链接：https://zhuanlan.zhihu.com/p/157325083

本文介绍了伪标签技术在大数据时代下的重要性，特别是在金融、医疗图像和安全等领域。伪标签通过半监督学习提升模型性能，通过已标注数据训练模型，对无标注数据预测并筛选高置信度样本进行再训练。文中提到了入门版、进阶版和创新版的伪标签使用方法，并探讨了其在实际应用中的复杂性和变通性。
部署运行你感兴趣的模型镜像

大数据时代中，在推荐、广告领域样本的获取从来都不是问题，似乎适用于小样本学习的伪标签技术渐渐淡出了人们的视野，但实际上在样本及其珍贵的金融、医疗图像、安全等领域，伪标签学习是一把锋利的匕首，简单而有效。

伪标签的定义

伪标签的定义来自于半监督学习，半监督学习的核心思想是通过借助无标签的数据来提升有监督过程中的模型性能。

举个简单的半监督学习例子，我想去训练一个通过胸片图像来诊断是否患有乳腺癌的模型，但是专家标注一张胸片图像要收费，于是我掏空自己的钱包让专家帮我标注了10张胸片，可是我这10张图片又要划分训练集测试集，咋训练看着都要过拟合哇，这可咋办？

聪明的我问了问专家，说不标注的胸片要钱吗？专家一愣，不要钱，随便拿（此处忽略病人隐私的问题，单纯举例子）。于是我掏出1张标注的胸片，换了10张没标注的胸片，在专家还没缓过劲之前先溜了。

回到家里，我就开始了如图所示的半监督学习过程~

img

粗略来讲，伪标签技术就是利用在已标注数据所训练的模型在未标注的数据上进行预测，根据预测结果对样本进行筛选，再次输入模型中进行训练的一个过程。

但实际上，伪标签技术在具体应用的细节上，远没有说的如此简单，那让我们先看一下伪标签技术的具体做法吧。

伪标签的具体用法

伪标签技术的使用自由度非常高，在这里我们介绍最常用的也是最有效的三种，对于某些特殊场景，可能有更花哨的方法，这里希望能抛砖引玉，为大家拓宽一下视野。

入门版

1. 使用标记数据训练有监督模型M

2. 使用有监督模型M对无标签数据进行预测，得出预测概率P

3. 通过预测概率P筛选高置信度样本

4. 使用有标记数据以及伪标签数据训练新模型M’

img

进阶版

1. 使用标记数据训练有监督模型M

2. 使用有监督模型M对无标签数据进行预测，得出预测概率P

3. 通过预测概率P筛选高置信度样本

4. 使用有标记数据以及伪标签数据训练新模型M’

5. 将M替换为M’，重复以上步骤直至模型效果不出现提升

img

创新版

1. 使用标记数据训练有监督模型M

2. 使用有监督模型M对无标签数据进行预测，得出预测概率P

3. 将模型损失函数改为Loss = loss(labeled_data) + alpha*loss(unlabeled_data)

4. 使用有标记数据以及伪标签数据训练新模型M’

*loss(unlabeled_data)*

4. 使用有标记数据以及伪标签数据训练新模型M’

img

您可能感兴趣的与本文相关的镜像

Yolo-v8.3

Yolo-v8.3

Yolo

YOLO（You Only Look Once）是一种流行的物体检测和图像分割模型，由华盛顿大学的Joseph Redmon 和Ali Farhadi 开发。 YOLO 于2015 年推出，因其高速和高精度而广受欢迎

深度学习技巧应用9-模型训练中学习率的调整和假数据生成技巧与总结
微学AI的博客
04-25 1891
大家好，我是微学AI，今天给大家介绍一下深度学习技巧应用9-模型训练中学习率的调整和假数据生成技巧与总结，我们在训练模型的时候，为了测试模型是否可以行，但是目前还没有标注好大量的数据，在缺乏数据的情况下，今天教大家如何生成假数据（测试数据）进行模型调试，并且教到家学习率如何调整来提高模型的性能，加快收敛的效果。
51-32 CVPR’24 | 3DSFLabelling，通过伪自动标注增强 3D 场景流估计
AIgraphX
03-18 1280
3DSFLabelling 提出3D 场景自动标注新框架，以及 3D 场景流数据增强方法，引入各种场景运动模式，显著提高了3D场景流标签多样性。在没有手工标注情况下，性能优于以前任何有监督和无监督的 3D 重建模型。
NLP（三十四）使用keras-bert实现序列标注任务
山阴少年
12-26 6661
  对于不同的NLP任务，使用BERT等预训练模型进行微调无疑是使用它们的最佳方式。在网上已经有不少的项目，或者使用TensorFlow，或者使用Keras，或者使用PyTorch对BERT进行微调。本系列文章将致力于应用keras-bert对BERT进行微调，完成基础的NLP任务，比如文本多分类、文本多标签分类以及序列标注等。   keras-bert是Python的第三方模块，它方便我们使用Keras来调用BERT，借助几行代码就可以轻松地完成模型构建，能依据不同的文本任务进行模型训练，获得不错的效果。
2021-05-24 阅读笔记-无标签跨域目标检测-伪标签筛选
GerinT的博客
05-24 1149
两篇文章如下： Unsupervised Object Detection with Scene-adaptive Concept Learning Box Re-Ranking: Unsupervised False Positive Suppression for Domain Adaptive Pedestrian Detection 两篇文章都来自于海康威视，还有几位重复作者，并且主题同样是着眼于如何利用detector trained from source data在target d
伪标签与自训练：让模型成为自己的老师
最新发布
weixin_51241407的博客
10-09 996
成功的配方1. 强噪声正则化（最关键）输入噪声：RandAugment + CutOut模型噪声：Dropout + Stochastic Depth训练噪声：大学习率 + 不平衡采样2. 学生比教师大（1.5-2倍参数）足够容量从噪声中学习3. 迭代训练（3-4轮）每轮都提升滚雪球效应4. 海量无标注数据数量级：标注数据的100-1000倍5. 长时间训练需要足够时间从噪声中收敛缺一不可：去掉噪声 → 提升从2.0%降到0.5%
伪标签Pseudo Label
年少的勇气已经用完，剩下的就是三思而后行
10-21 6270
伪标签（）是半监督学习中的一个概念，能够帮助模型更好的从无标注的信息中进行学习。与完全的无监督学习相比，半监督学习拥有部分的标注数据和大量的未标注数据，这种形式也更加适合现实场景和竞赛场景。在现实，标注数据少，未标注数据多；在竞赛，训练集有标注，测试集未标注；那么如何完全将未标注的数据利用起来呢？在半监督学习中伪标签是其中的方法，具体思路如下：首先利用现有的标注数据，训练得到一个模型；利用训练得到的模型对无标注数据进行预测；然后将无标注数据的预测标签和数据加入训练集一起训练；
伪标签
junjian Li
05-19 2588
什么是伪标签 伪标签是将置信度较高的测试数据添加到训练数据中的过程。伪标签一共有5个步骤。 使用**训练集数据(Train1）**训练一个模型。 使用训练好的模型预测测试集数据。 将预测的置信度较高的样本加入到训练集中。 使用新的训练集训练一个新的模型。 使用新的模型去预测测试集数据。 1. 建立第一个模型 正常建立模型即可 2. 预测测试集 正常测试即可 3. 增加伪标签数据到训练集 将所有预测的置信度Pr(y=1|x)>0.99和Pr(y=0|x)>0.99的加入到训练集中。 4.训练一
[CVPR2022] ACPL: Anti-curriculum Pseudo-labelling for Semi-supervised Medical Image Classification
weixin_45807767的博客
11-24 1683
ACPL: Anti-curriculum Pseudo-labelling for Semi-supervised Medical Image Classification
Pseudo-Label : The Simple and Efficient Semi-Supervised Learning Method for Deep Neural Networks学习笔记
passer__的博客
02-18 1146
伪标签（Pseudo-Labelling）——锋利的匕首，详细介绍了什么是伪标签方法以及伪标签方法的分类，本论文用到的方法就是上文中的创新版伪标签的方法(将没有标签的数据的损失函数也加入进来，就是最后公式后边那一坨，具体如下图)运用训练出的模型给予无标签的数据一个伪标签。方法很直接：用训练中的模型对无标签数据进行预测，以概率最高的类别作为无标签数据的伪标签第二步：运用entropy regularization(熵正则化化) 思想，将无监督数据转为目标函数的正则项(如下文公式)。
Label 相关论文汇总
weixin_45807767的博客
11-23 1675
Label相关的论文汇总
深入了解语音识别：Distil-Whisper
全世界的博客
06-28 2255
随着语音识别技术的不断发展，模型的大小和计算复杂度成为了制约其广泛应用的重要因素。特别是在边缘设备和实时应用场景中，对模型的效率和性能提出了更高的要求。Distil-Whisper模型的提出，正是为了解决这一问题。Distil-Whisper是基于OpenAI的Whisper模型通过知识蒸馏技术得到的轻量级版本。知识蒸馏是一种将大型模型的知识转移到小型模型的技术，通过这种方式，可以在保持较高识别精度的同时，显著减少模型的尺寸和计算需求。
Pseudo-伪标签
weixin_43977748的博客
07-18 1171
转载至作者随君 https://blog.youkuaiyun.com/u012420553/article/details/100975294 Pseudo-Label:深度学习中一种简单有效的半监督方法 1 摘要2 介绍3 深度学习伪标签3.1 深度神经网络3.2 Denoising Auto-Encoder 去噪自编码器 1 摘要 提出了一种简单有效的深度神经网络半监督学习方法。基本上，该网络采用带标签和无标签数据同时训练的监督方式。对于未标
伪标签技术
qq_52171945的博客
09-30 1802
那么到底什么是伪标签？伪标签的定义来自于半监督学习，半监督学习的核心思想就是通过借助无标签的数据来提升有监督过程中的模型性能。那么说了一大串，什么又是半监督学习呢？百度百科是这样定义的：半监督学习(Semi-Supervised Learning，SSL)是模式识别和机器学习领域研究的重点问题，是监督学习与无监督学习相结合的一种学习方法。半监督学习使用大量的未标记数据，以及同时使用标记数据，来进行模式识别工作。
【机器学习】伪标签（Pseudo-Labelling）
无问西东的博客
12-16 3983
监督学习 即使用标签数据(受监督的学习)和不加标签的数据(无监督的学习)。 在添加了不加标签的数据之后，我们的模型的决策边界变得更加准确。因此，使用不加标签数据的好处是: 1.被贴上标签的数据既昂贵又困难，而没有标签的数据则是充足而廉价的。 2.它通过更精确的决策边界来改进模型的鲁棒性。 现在，我们对半监督学习有了一个基本的了解。有多种不同的技术在应用着半监督学习，在本文中，我们将尝试理解一种称为伪标签的技术。 伪标签 第一步：使用标签数据训练模型 第二步：使用训练的模型为不加标签的数据预测标签 第三步：
伪标签汇总
Mark_Australia的博客
08-02 2757
伪标签
伪标签（Pseudo-Labelling）介绍:一种半监督机器学习技术
热门推荐
lizz2276的博客
06-19 1万+
我们在解决监督机器学习的问题上取得了巨大的进步。这也意味着我们需要大量的数据来构建我们的图像分类器。但是，这并不是人类思维的学习方式。一个人的大脑不需要上百万个数据来进行训练，需要通过多次迭代来完成相同的图像来理解一个主题。它所需要的只是在基础模式上用几个指导点训练自己。显然，我们在当前的机器学习方法中缺少一些东西。我们能否可以建立一个系统，能够要求最低限度的监督，并且能够自己掌握大部分的任务。 本文将介绍一种称为伪标签（Pseudo-Labelling）的技术。我会给出一个直观的解释，说明伪标签是什.
伪标签的生成
Zinc's
03-17 1088
不确定部分被视为带有噪声的不可靠区域，不会参与分割头的监督。输入到全局平均池化层和分类层，以输出最终的分类得分。：从上述过程中，我们可以检索到每个类别的分类权重。：一阶段WSSS方法通常使用两个背景阈值。：对给定的图像，通过背骨网络提取特征图。进行重新缩放到 [0, 1] 范围内。个类别，ReLU 用于消除负激活值。：应用最大-最小规范化对。
半监督学习中的伪标签（Pseudo-Labelling）
weixin_44438120的博客
09-25 7443
最近在做东西过程中接触到了半监督学习，所以以此篇博客记录个人觉得写的很好的一篇博客，以防遗忘。如若侵权请联系删除。 什么是伪标签技术 伪标签的定义来自于半监督学习，半监督学习的核心思想是通过借助无标签的数据来提升有监督过程中的模型性能。 举个简单的半监督学习例子，我想去训练一个通过胸片图像来诊断是否患有乳腺癌的模型，但是专家标注一张胸片图像要收费，于是我掏空自己的钱包让专家帮我标注了10张胸片，可是我这10张图片又要划分训练集测试集，咋训练看着都要过拟合哇，这可咋办？ 聪明的我问了问专家，说不标注的胸片要钱
伪激光雷达Pseudo-LiDAR BEV
02-14
### Pseudo-LiDAR 实现及其在鸟瞰图视图中的应用 #### 定义与原理 Pseudo-LiDAR 是一种利用单目或多目摄像头图像来生成类似于 LiDAR 数据的技术。通过将二维图像转换成三维空间坐标系下的点云数据，使得基于视觉的方法能够获得接近真实 LiDAR 的感知效果[^1]。 #### 鸟瞰图视图（BEV） 鸟瞰图视图是一种自上而下观察场景的方式，在自动驾驶领域被广泛应用于环境理解任务中。它有助于消除视角变化带来的影响，并提供更直观的道路布局表示形式。对于 pseudo-LiDAR 来说，构建 BEV 表示意味着要将由相机获取到的深度信息映射至俯视角度的空间网格内[^3]。 #### 实现过程 以下是创建 pseudo-LiDAR 并将其投影到 BEV 中的一个简化流程： 1. **图像采集**：使用安装于车辆上的摄像机捕捉周围环境的画面； 2. **立体匹配/深度估计**：采用双目视觉算法或学习型网络预测每像素对应的深度值； 3. **坐标变换**：根据内外参矩阵计算各点的世界坐标位置； 4. **离散化处理**：按照设定分辨率划分水平面格子单元并将对应高度存储起来形成栅格地图； 5. **渲染显示**：最后绘制出完整的 BEV 图像供后续模块调用分析。 ```python import numpy as np import cv2 def generate_pseudo_lidar(image_left, image_right, K, baseline): """ Generate pseudo-LiDAR point cloud from stereo images. Args: image_left (np.ndarray): Left camera image. image_right (np.ndarray): Right camera image. K (np.ndarray): Camera intrinsic matrix. baseline (float): Distance between two cameras. Returns: np.ndarray: Point cloud data in shape (N, 3). """ disparity = compute_disparity(image_left, image_right) depth_map = focal_length * baseline / disparity h, w = depth_map.shape[:2] xx, yy = np.meshgrid(np.arange(w), np.arange(h)) points_2d_homogeneous = np.stack([xx.ravel(), yy.ravel(), np.ones_like(xx).ravel()]) inv_K = np.linalg.inv(K) points_3d_camera_frame = inv_K @ points_2d_homogeneous * depth_map.flatten() return points_3d_camera_frame.T def project_to_bev(points_3d_world_frame, bev_params): """ Project world frame coordinates into bird-eye-view space. Args: points_3d_world_frame (np.ndarray): Points in world coordinate system with shape (N, 3). bev_params (dict): Parameters defining the output BEV grid including resolution and range limits. Returns: np.ndarray: Bird-eye-view representation of input points. """ x_min, y_min, z_min = bev_params['min'] x_max, y_max, z_max = bev_params['max'] res_x, res_y = bev_params['resolution'] indices_valid = ( (points_3d_world_frame[:, 0] >= x_min) & (points_3d_world_frame[:, 0] <= x_max) & (points_3d_world_frame[:, 1] >= y_min) & (points_3d_world_frame[:, 1] <= y_max) ) valid_points = points_3d_world_frame[indices_valid] idx_x = ((valid_points[:, 0] - x_min) / res_x).astype(int) idx_y = ((y_max - valid_points[:, 1]) / res_y).astype(int) height_values = valid_points[:, 2].reshape(-1, 1) bev_image = np.zeros((int((y_max-y_min)/res_y)+1, int((x_max-x_min)/res_x)+1)) for i in range(len(idx_x)): bev_image[idx_y[i], idx_x[i]] = max(bev_image[idx_y[i], idx_x[i]], height_values[i]) return bev_image ```
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值