Self-supervised Learning of Adversarial Example: Towards Good Generalizations for Deepfake Detection

原创 已于 2024-05-10 09:40:56 修改 · 1k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉

于 2023-12-15 14:15:08 首次发布
本文探讨了Deepfake检测器在应对不可见伪造手段时的困难，提出通过合成多样性的对抗性伪造数据和预测伪造配置来增强模型的泛化性能。研究采用了对抗训练策略，动态合成最具挑战性的伪造图像，并通过自我监督任务进行联合训练，以提高检测器对伪造的敏感性。实验结果表明这种方法有效提高了检测器的泛化能力。

一、研究背景
将Deepfake检测器用于不可见的伪造手段仍比较困难。
先有提升检测器泛化性能的思路有两种，但都有缺陷：
合成伪造数据：能合成的伪造类型比较有限。
提取共有特征：共有特征对预处理步骤敏感，在不同数据集中呈现较大差异。

二、研究动机
泛化性好的表征应该对多种类型的伪造都很敏感。

三、研究目标
通过合成对抗性数据来提升深度伪造检测器的泛化性能：
1.利用伪造配置池合成伪造数据来增加伪造的“多样性”。（配置：合成某种伪造数据的特定方法或控制特定合成过程的一组参数）
2.通过预测伪造配置增强模型对伪造的“敏感性”。

四、技术路线
为探索更大的伪造空间，使用对抗训练策略动态合成当前最具挑战性的伪造数据。
在这里插入图片描述
1.Selecting Space and Synthesizing Forgery

  • 输入：
    真实图像IpI_p

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【论文阅读】Self-Supervised Learning of Graph Neural Networks: A Unified Review
grove976的博客
11-08 2366
论文题目：Self-Supervised Learning of Graph Neural Networks: A Unified Review 论文地址：https://arxiv.org/abs/2102.10757 1 Introduction 可以将SSL的前置任务分为两类：对比模型和预测模型。 两类的主要区别在于对比模型需要data-data对进行训练，而预测模型需要data-label对，其中label时从数据中自行生成的，如图1 对比模型通常利用自监督来学习数据表示或为下游任务执行预训.
Tailoring Self-Supervision for Supervised Learning-读后总结
Ocodotial的博客
01-02 2267
近期，在监督学习中部署一个合适的自监督学习来提高监督学习的性能是一个具有前景的方式。然而，因为之前的前置任务主要为了无监督的表征学习而设计，所以自监督的优点没有被完全利用起来。这里，我们首先为自监督辅助监督目标，提出三点要求。第一，这些任务需要指导模型学习丰富的(互补)表征。第二，自监督中涉及的变换不应该严重修改训练的数据分布。第三，这些任务应该轻量和高适用。
Self-supervised Learning of Adversarial Example:Towards Good Generalizations for Deepfake Detection
m0_49639992的博客
02-23 1107
为了提升deepfake detector的泛化性，使得模型能更好的应用于现实生活中，本文提出了使用对抗学习（adversarial learning）以及自监督学习（Self-supervised）增强模型对不同deepfake方法的敏感性从而增强泛化性的方法。
【深度学习】自监督学习详解（self-supervised learning）
热门推荐
Danger的博客
01-30 2万+
详解！自监督学习：对比学习和生成学习。
AI生成图像检测调研
weixin_62277441的博客
10-30 3077
对于人类的能力，我们对来自不同背景的参与者进行了人类评估，以确定他们区分真实和虚假图像的能力。每位参与者的任务是完成一个由100个随机问题组成的测试，他们必须决定一张图像是真实的还是人工智能生成的。无论是自动化检测器还是专业艺术家，在区分人类艺术和人工智能生成图像方面都表现出色，但也都存在一定的错误。大多数图像检测器在未知领域的性能会急剧下降，因此开发一种通用的表示方法来描述生成模型产生的伪影对于假图像检测至关重要。目前缺乏包含来自最先进图像生成器的图像的大型数据集，阻碍了相关检测器的开发。
CVPR 2022 | 腾讯AI Lab入选论文解读，关注图像理解、生成、建模及可信AI
腾讯AI实验室
06-20 2098
感谢阅读腾讯AI Lab微信号第147篇文章。本文介绍腾讯 AI Lab 被 CVPR 2022 收录的研究成果。CVPR（Conference on Computer Vision and Pattern Recognition）是计算机视觉三大顶会之一，也是中国计算机学会推荐的人工智能领域的A类会议。今年会议于 6 月 19 - 24 日以线上线下结合形式举行，据此前...
A Self-supervised Approach for Adversarial Robustness.pdf
10-19
本文总结了A Self-supervised Approach for Adversarial Robustness论文的要点，该论文发表于CVPR会议，主要讨论了深度神经网络（Deep Neural Network，DNN）对抗攻击的鲁棒性问题。 深度神经网络对抗攻击的威胁 ...
CVPR2022论文速递（2022.3.24）！共11篇含表情识别/deepfake检测/插帧等
zero的博客
03-25 5474
整理：AI算法与图像处理CVPR2022论文和代码整理：https://github.com/DWCTOD/CVPR2022-Papers-with-Code-Demo欢迎关注：DynamicEarthNet: Daily Multi-Spectral Satellite Dataset for Semantic Change Segmentation论文/Paper: ...
Paper Reading-list
zyr_freedom的博客
03-20 5411
paper reading list
Adversarial Self-Supervised Contrastive Learning
FengF2017的博客
02-01 1502
论文标题: Adversarial Self-Supervised Contrastive Learning 论文来源: NeurIPS 2020 论文链接: https://arxiv.org/abs/2006.07589 代码链接: https://github.com/Kim-Minseon/RoCL 1 引言 现有的对抗学习方法大多使用类别标签来生成导致错误预测的对抗样本，然后使用这些对抗样本来增强模型的训练，以提高模型的鲁棒性。虽然最近的一些方法提出了使用未标记数据的半监督对抗学习方法，但是它们仍
GitHub 3.6k Satr自监督学习(Self-Supervised Learning)资源你值得拥有！
DrugOne
04-12 5435
自我监督学习已成为AI社区中令人兴奋的方向。 Jitendra Malik: "Supervision is the opium of the AI researcher" Alyosha Efros: "The AI revolution will not be supervised" Yann LeCun: "self-supervised learning is the cake, supervised learning is the icing on the cake, reinforceme
自监督学习（Self-Supervised Learning）个人小结
藏晖的博客
09-13 1万+
最近很多的方法都会说他用了自监督的学习方式。也有很多的学者表示自监督学习成为了流行是一种必然趋势，虽然在现实世界中，我们可以很容易采集到大量的数据，但是对数据进行标注并不是一项简单的工作，如何从大量无标注的数据中学习到有效的知识是现在乃至以后都非常重要的一个问题。 本文中，我想分为以下方面进行总结。 1、什么是自监督学习，这些方法为什么work。 2、总结每一类方法中几种比较出名的方法（如果太长，可能会每一类分一篇文章写一下）。 一、什么是自监督学习，自监督学习能学习到哪些信息（Self-Supervise
【CVPR】Enhancing 3D Object Detection with 2D Detection-Guided Query Anchors
最新发布
Hali_Botebie的博客
12-30 761
从2D检测中推荐3D query，StreamPETR 的RPN 头的TopK也是这个意思啊。
计算机视觉全栈宝典：从BEV感知到边缘部署（附15套实战方案）
2403_88718395的博客
12-28 889
从 1981 年的 Canny 边缘检测到 2025 年的 BEV 三维感知，计算机视觉用四十年时间实现了从 “看到像素” 到 “看懂世界” 的蜕变。它不仅是 AI 技术的核心分支，更是智能时代的 “视觉基础设施”—— 重塑工业制造的质检流程，革新医疗健康的诊断方式，推动自动驾驶的量产落地，赋能千行百业的数字化转型。
基于MATLAB的HSV颜色特征杂草图像识别系统设计与实现
Dev7z的博客
12-26 311
随着农业信息化和智能化的发展，农田杂草的快速、准确识别对提高作物产量和实现精准农业具有重要意义。针对传统人工识别效率低、主观性强的问题，本文设计并实现了一种基于 MATLAB 的 HSV 颜色特征杂草图像识别系统。
目标跟踪：在动态视频中“锁定”你
maqh_csdn的博客
12-29 893
目标跟踪不是每一帧独立的“判断题”，而是跨越时间的“连续推理” 。它通过运动预测与外观记忆对抗遮挡与形变，在混乱的动态世界中实现目标的“身份锁定”，完成从静态识别到时序关联的认知进化。
计算机视觉Transformer-2 目标检测
oldsummer
12-28 1081
本文系统介绍了基于Transformer的目标检测模型发展历程。首先分析DETR如何通过集合预测思想替代传统CNN检测方法，详细解析其Encoder特征编码和Decoder目标解码机制，以及匈牙利算法实现的损失计算。随后探讨Deformable DETR的两大改进：可分离注意力机制降低计算复杂度，多尺度特征融合提升小目标检测效果。最后介绍RT-DETR的创新设计，包括两阶段查询机制、高层特征注意力计算和多尺度特征融合模块。这些工作展现了Transformer在目标检测领域的优势与发展方向。
帮我讲解总结一下Self-Supervised Learning for Recommender Systems: A Survey这篇论文
02-22
答：本文提出了一种基于自监督学习的推荐系统，它可以提取用户和物品之间的关系，以更准确地预测用户的需求。它可以构建具有最佳性能的推荐系统，可以更好地满足用户的社交和娱乐需求。它使用机器学习算法来构建推荐系统，以捕获用户和物品之间的复杂关系，并且还可以提取用户对物品的情感和偏好。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

二苏旧局吖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值