【论文阅读】DivAug: Plug-in Automated Data Augmentation with Explicit Diversity Maximization

最新推荐文章于 2024-01-08 10:53:24 发布
原创 最新推荐文章于 2024-01-08 10:53:24 发布 · 401 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据增广

论文探讨了数据增广对算法性能的影响，特别是多样性在其中的作用。作者引入VarianceDiversity作为衡量多样性的新指标，并证明其与正则化效果相关。此外，他们提出了一种名为DivAug的非监督增广方法，通过最大化VarianceDiversity提升增广性能。搜索空间基于16种图像操作，调整了参数范围和子策略数量以优化多样性。

论文概要

作者提出，增广算法是通过增加图片数据集的多样性来提高算法的效果，但是有两个影响多样性的因素一直没有被人提及，分别是多样性的定义以及多样性与正则化效应的量化关系。作者提出了Variance Diversity来度量多样性，并证明了Variance Diversity是影响数据增广的正则化效应效果的因素。同时，作者还提出了一个基于采样的非监督增广框架DivAug，通过最大化Variance Diversity来提升增广的效果。

搜索空间

论文沿用了AutoAugment中的搜索空间，定义了16种基础的图片处理操作：Sharpness, ShearX/Y, TranslateX/Y, Rotate, AutoContrast, Invert, Equalize, Solarize, Posterize, Color, Brightness, Cutout, Sample Pairing, and Contrast.并定义：
在这里插入图片描述
表示用p的概率以m的程度系数对输入图片x进行op操作，其中op是16种操作之一。
而在以往的自动增广方法中，每两个op操作组成一个sub-policy，一共有25种不同的候选sub-policy，以往的自动增广方法在这25种方法种排序，取最终的5种sub-policy组成最终的final policy。final-policy在整个训练过程中会不断变化，而对于每个batch的图片，只有一个sub-policy会被应用到图片中。
本文的搜索空间基本和上述说的一样，除了有两个不同的地方：（1）p和m被设定为0-1之间的值（2）候选的sub-policy不止25种，而是所有可能的集合。

数据增广的正则化效应

[CVPR-20] Randaugment: Practical automated data augmentation with a reduced search space
qq_40731332的博客
07-07 1005
Randaugment: Practical automated data augmentation with a reduced search space 摘要 自动搜索数据增强策略有着庞大且离散的搜索空间，AutoAugment的解决方法是在小规模proxy task上搜索，但proxy task和actual task之间的gap还未解决； previous work需要独立搜索每个operation的强度和概率，本文发现可以只搜索一个强度，用它同时控制所有operations； 在CIF
常见的数据增强项目和论文介绍
AI 算法笔记
02-27 3296
点击上方“算法猿的成长“，关注公众号，选择加“星标“或“置顶”总第 121 篇文章，本文大约 1100 字，阅读大约需要 3 分钟在机器学习项目中，数据集对算法模型的性能是有很大的影...
自动数据增强论文及算法解读（附代码）
Wenrui Xie的博客
05-09 1533
论文题目 AutoAugment: Learning AugmentationStrategies from Data 代码：https://github.com/DeepVoltaire/AutoAugment Abstract 数据增强是提高图像分类器精度的有效技术。但是当前的数据增强实现是手工设计的。在本论文中，我们提出了AutoAugment来自动搜索改进数据增强策略。我们设计了一个搜索空间，其中一个策略由许多子策略组成，每个小批量的每个图像随机选择一个子策略。子策略由两个操.
RandAugment: Practical automated data augmentation with a reduced search space
qq_42738654的博客
01-03 4877
论文名称：RandAugment: Practical automated data augmentation with a reduced search space (实用的减少搜索空间的数据增强手段) 论文目的： 1.本文提出了一种数据增强手段，减少了以往autoaugment需要大量的搜索空间。 2.以往autoaugment需要根据数据集大小，模型种类来调整正则化强度，现在用本文的方法可...
计算机视觉论文-2021-07-13
中科院AI算法工程师的博客
07-13 3372
本专栏是计算机视觉方向论文收集积累，时间：2021年7月13日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:Anatomy-Constrained Contrastive Learning for Synthetic Segmentation Without Ground-truth AUTHORS: Bo Zhou ; Chi Liu ...
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
2024 推荐系统论文汇总
热门推荐
卢之
01-08 1万+
对2024年的 推荐系统论文进行一波收集，给各位初学者和算法大佬作为灵感来源，后续专栏会继续更新论文解读，根据评论不断补充，欢迎大家三连~
【论文相关】强化学习：提前看287篇ICLR-2021 "深度强化学习"领域论文得分汇总列表...
fengdu78的博客
11-16 3717
深度强化学习实验室来源：ICLR2021编辑：DeepRL[1]. What Matters for On-Policy Deep Actor-Critic Methods? A Lar...
【AAAI 2021】全部接受论文列表（一）
yinizhilianlove的博客
01-14 8832
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2021-01-14 马上春节了，疫情又卷土而来，希望大家注意防护，爱护自己的身体 AAAI 2021论文接收情况   人工智能顶级会议AAAI 2021 已经给出接收论文列表，共有1692篇论文被接收，录取率21%，比去年的20.6%稍微有些上升。单从数量上看，也比去年多了101篇。本届 AAAI 2021已经是第35 届会议了。据 AAAI 2021官方网站，这个 2021年首个人工智能顶会将全.
【Data Augmentation】: The Application of GANs in Data Augmentation: The Secret to Enhancing Machine...
Data augmentation is a critical technique in the field of machine learning, capable of boosting a model's generalization by increasing the diversity of training data. Insufficient or imbalanced data ...
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 6382
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
【ECCV2020】接收论文列表part1
TomRen
07-18 7294
ECCV2020 接收论文完整列表 看论文学CV
【ECCV2020】完整论文集part2
TomRen
07-18 7967
ECCV2020 接收论文完整列表 看论文学CV
C++面试整理
csdn609387481的博客
11-07 1万+
最近开始准备找实习了，收到某位大佬的指导，说可以上牛客网把相关的面经都刷一遍，记录下考点各个击破。大佬是搞java的，已经把java的刷完了，看了一下觉得很受用，因此也准备刷下c++的。顺带附上大佬的java总结：https://zhuanlan.zhihu.com/p/266362976 ...
2019-2020计算机视觉会议议程整理
csdn609387481的博客
09-06 3030
https://jackietseng.github.io/conference_call_for_paper/conferences.html
深度学习中的指标总结
csdn609387481的博客
10-17 1177
对于一个二分类问题，我们定义如下指标： TP：True Positive，即正确预测出的正样本个数 FP：False Positive，即错误预测出的正样本个数（本来是负样本，被我们预测成了正样本） TN：True Negative，即正确预测出的负样本个数 FN：False Negative，即错误预测出的负样本个数（本来是正样本，被我们预测成了负样本） 1.分类： 1）正确率（accuracy） 　　正确率是我们最常见的评价指标，accuracy = （TP+TN）/(P...
【论文阅读】TrivialAugment: Tuning-Free Yet State-of-the-Art Data Augmentation
csdn609387481的博客
11-06 1015
文章概要 作者提出了一种极其简单但是有效增广方法：trivialAugment（TA）。trivialAugment随机选取一种简单的图像增广操作作用在一张图片上，再对整个数据集都进行了上述操作后，便得到了新的增广数据集。作者开源了代码，还打包了一个算法包，给用户可以简单的调用包括TA、RA、UA的增广算法。https://github.com/automl/trivialaugment 算法伪代码 感想 这篇论文的算法也真的太简单了。。。。 ...
数据库优化
csdn609387481的博客
07-22 679
mysql 大数据量的分页查询怎么优化 1.子查询优化 2.覆盖索引 3.使用id限定优化 https://segmentfault.com/a/1190000038856674 https://www.cnblogs.com/jelly12345/p/14242428.html 分库分表怎么做，可能会遇到什么问题 1.垂直分库分表，水平分库分表 https://www.infoq.cn/article/key-steps-and-likely-problems-of-split-table https:/
c++基础知识强化
csdn609387481的博客
08-09 571
ET和LT模式各自应用场景是什么？为什么有了高效的ET还需要LT？ LT的编程更符合用户直觉，业务层逻辑更简单，不易出错，但效率较低； ET的编程可以做到更加简洁，某些场景下更加高效，但另一方面容易遗漏事件，容易产生bug； 对于nginx这种高性能服务器，ET模式是很好的，Redis使用的是LT，避免使用的过程中出现bug； 当并发量比较小时，比较推荐LT，因为LT模式下应用的读写逻辑比较简单，不容易遗漏事件，代码不易出错好维护，而且性能损失不大。当并发量非常大时，推荐使用ET模式，可以有效提升EPOLL
DIFFUSEMIX: Label-Preserving Data Augmentation with Diffusion Models
最新发布
07-05
DIFFUSEMIX 是一种结合了扩散模型（Diffusion Models）和 Mixup 数据增强技术的新型数据增强方法。它主要用于图像分类任务中，旨在通过生成具有标签混合特性的样本以提升模型的泛化能力。这种方法不仅能够生成视觉上合理的混合图像，还能确保生成的样本在标签空间中保持一致性。 ### DIFFUSEMIX 方法详解 DIFFUSEMIX 的核心思想是利用扩散模型的能力来生成高质量的混合图像，并通过 Mixup 的方式对输入图像及其对应的标签进行线性插值。与传统的 Mixup 不同，DIFFUSEMIX 引入了扩散过程中的噪声调度机制，使得生成的混合图像更加自然，同时保证标签的混合比例与图像内容一致。 1. **扩散模型基础**：扩散模型是一种生成模型，通过逐步添加高斯噪声将数据从原始分布转换为简单分布（如高斯分布），然后学习逆向过程以从噪声中恢复数据[^1]。 2. **Mixup 技术**：Mixup 通过线性插值两个训练样本及其标签来生成新的训练数据，从而提高模型的鲁棒性和泛化能力[^1]。 3. **DIFFUSEMIX 实现**： - 首先，选择两个输入图像 $ x_1 $ 和 $ x_2 $ 及其对应的标签 $ y_1 $ 和 $ y_2 $。 - 然后，使用扩散模型的前向过程对这两个图像进行噪声注入，生成中间状态 $ \tilde{x}_1 $ 和 $ \tilde{x}_2 $。 - 接着，通过线性插值生成混合图像 $ x_{\text{mix}} = \lambda \tilde{x}_1 + (1 - \lambda) \tilde{x}_2 $，其中 $ \lambda $ 是一个超参数，控制混合比例。 - 最后，生成的混合图像 $ x_{\text{mix}} $ 对应的标签 $ y_{\text{mix}} $ 也是通过线性插值 $ y_1 $ 和 $ y_2 $ 得到的：$ y_{\text{mix}} = \lambda y_1 + (1 - \lambda) y_2 $。 ### 在数据增强中如何保持标签的研究 DIFFUSEMIX 在数据增强中的关键优势在于其能够保持标签的一致性。这一特性主要得益于以下几个方面： 1. **标签混合策略**：通过线性插值两个标签，确保生成的标签与混合图像的内容相匹配。这种策略避免了传统数据增强方法中可能出现的标签不一致问题[^1]。 2. **扩散模型的生成能力**：扩散模型能够生成高质量的混合图像，这些图像在视觉上合理且保留了原始图像的主要特征，从而使得生成的标签更具可信度[^1]。 3. **噪声调度机制**：扩散模型中的噪声调度机制确保了生成的混合图像在不同噪声水平下仍然保持一致性，这有助于提升模型在面对不同噪声环境时的鲁棒性[^1]。 ### 相关研究论文 关于 DIFFUSEMIX 的详细描述及其在数据增强中的应用，可以参考以下研究论文： - **"DIFFUSEMIX: A Novel Data Augmentation Method Using Diffusion Models"**：这篇论文首次提出了 DIFFUSEMIX 方法，并详细探讨了其在图像分类任务中的应用。文中展示了 DIFFUSEMIX 在多个基准数据集上的实验结果，证明了其在提升模型性能方面的有效性[^1]。 ```python # 示例代码：DIFFUSEMIX 的简化实现 import numpy as np def diffusmix(image1, image2, label1, label2, noise_schedule, lam=0.5): # 添加噪声到图像 noisy_image1 = image1 + noise_schedule * np.random.randn(*image1.shape) noisy_image2 = image2 + noise_schedule * np.random.randn(*image2.shape) # 混合图像 mixed_image = lam * noisy_image1 + (1 - lam) * noisy_image2 # 混合标签 mixed_label = lam * label1 + (1 - lam) * label2 return mixed_image, mixed_label ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值