Rethinking the Up-Sampling Operations in Generative Network for Generalizable Deepfake Detection

原创 已于 2024-06-14 10:26:22 修改 · 876 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #机器学习 #计算机视觉

于 2024-05-10 16:31:55 首次发布
该研究关注深度伪造检测中上采样操作的重要性，指出上采样在GANs和扩散模型中的广泛应用导致了局部像素间的联系，这些联系即使在高度真实的图像中也能被检测到。通过提出Neighboring Pixel Relationships (NPR)的概念，该研究旨在建立一种域无关的伪造检测方法，提高检测算法的泛化性能。实验结果表明，上采样的伪影对于检测具有更好的泛化性。

一、研究背景
1.GANs和扩散模型的发展滋生了大量高度真实的合成图像，并增大了误用风险。
2.以往的深度伪造检测任务致力于设计新的检测算法，明显缺乏对生成架构的探究。
3.为了提升检测算法的泛化性，以往工作通常优化检测算法、扩充数据集、预训练模型，但是缺乏域不变表征使这些方法依旧难以应用于未知域。
4.当前一些工作主要研究上采样对整个图像在频域的影响，并用频谱表征上采样伪影，但是GAN不同的频域模式限制了频域伪影的泛化性能。

二、研究动机
1.上采样被广泛用于GAN模型和扩散模型，因此，在提升深度伪造检测泛化性上具有巨大潜力。
2.上采样使局部像素之间产生联系，同时，后续CNN的平移不变性使这种联系得以保存。
3.不管生成效果再怎么真实，上采样层的痕迹始终存在于局部的图片像素中。

三、研究目标
通过重新探究生成模型的上采样模块的像素级影响，实现域无关的伪造检测。

四、技术路线
重新思考基于CNN的深度伪造生成器，并构建了伪影的通用表征近邻像素关系Neighboring Pixel Relationships (NPR)，提升深度伪造检测的泛化性。
在这里插入图片描述

  1. 引入Neighboring Pixel Relationships (NPR)的概念。
    x^\hat x<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【图像去噪（Image Denoising）】关于【图像去噪】专栏的相关说明，包含适配人群、专栏简介、专栏亮点、阅读方法、定价理由、品质承诺、关于更新、去噪概述、文章目录、资料汇总、问题汇总（更新中）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
01-14 1万+
你是否在全网苦寻【图像去噪（ImageDenoising）】的相关资料？你的目标是否是看懂【图像去噪（ImageDenoising）】的相关论文，复现代码，跑出结果，并试图创新？你是否需要发表【图像去噪（ImageDenoising）】的相关论文毕业？你是否需要做【图像去噪（ImageDenoising）】的相关项目，开发软件，研究算法，获得专利或者软著？只要是与【图像去噪（ImageDenoising）】有关的问题，那么请继续往下看。
CVPR 2021最全论文开放下载！附pdf下载链接！
热门推荐
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
CVPR 2024 | Rethinking the Up-Sampling Operations in CNN-based Generative Network for Generalizable
画心
06-26 844
本文研究了CNN生成网络中的上采样操作对深度伪造检测的影响，提出了基于邻近像素关系(NPR)的新型检测方法。研究发现上采样不仅产生频率域伪影，还会在像素级留下痕迹。NPR通过计算局部窗口内像素差值关系，有效捕捉图像细节中的生成痕迹。实验在包含28种生成模型的开放数据集上进行验证，NPR方法相比现有技术取得了11.6%的性能提升，展现出优秀的泛化能力。该方法通过训练二元分类器，利用NPR特征区分真实与合成图像，为深度伪造检测提供了新思路。
AI生成图像检测调研
weixin_62277441的博客
10-30 3100
对于人类的能力，我们对来自不同背景的参与者进行了人类评估，以确定他们区分真实和虚假图像的能力。每位参与者的任务是完成一个由100个随机问题组成的测试，他们必须决定一张图像是真实的还是人工智能生成的。无论是自动化检测器还是专业艺术家，在区分人类艺术和人工智能生成图像方面都表现出色，但也都存在一定的错误。大多数图像检测器在未知领域的性能会急剧下降，因此开发一种通用的表示方法来描述生成模型产生的伪影对于假图像检测至关重要。目前缺乏包含来自最先进图像生成器的图像的大型数据集，阻碍了相关检测器的开发。
姿态估计Rethinking on Multi-Stage Networks for Human Pose Estimation论文梗概及代码解读
小小小麦昆的博客
10-16 2481
2018年COCO关键点检测冠军算法MSPN，姿态估计，Top-down的技术路线 应该是截止2019年10月26日时开源的最好的姿态估计算法之一了 旷世出品 代码链接点这，是基于Pytorch的 论文链接点这 摘要 姿态估计方法以基本形成one-stage 和 multi-stage两个路线 多阶段看上去更适合任务，但是现在多阶段的性能还是不如单阶段的 我们论文就来研究这个问题，我们讨论当下多阶...
（论文速读）重新思考CNN生成网络中的上采样操作
LJ1147517021的博客
08-09 827
本文提出了一种基于上采样操作局部伪影分析的通用深度伪造检测方法NPR。研究聚焦CNN生成网络中上采样操作引发的邻域像素关系(NPR)，发现其能形成跨模型的通用伪影特征。通过构建轻量级CNN网络捕获2×2网格内的像素相对关系，该方法在包含28种生成模型的大规模测试中达到93.3%平均准确率，较现有最优方法提升12.8%。特别值得注意的是，仅在GAN数据训练的检测器对扩散模型仍保持95.3%的高准确率，验证了NPR特征的本质性和泛化能力。
文献汇总｜AI生成图像检测相关工作汇总（2018年至今）
Meiling_up
11-28 9230
本篇博客总结 2018年至今 通用AIGI（AI-Generated Image）检测相关研究工作。
【ECCV2020】完整论文集part2
TomRen
07-18 8013
ECCV2020 接收论文完整列表 看论文学CV
CVPR 2024 图像生成方向总汇（视频合成/生成、纹理生成/合成、二维码生成、文本-矢量、手写数学表达式和文本-3D等）
qq_36812406的博客
01-21 1355
纹理生成/合成、二维码生成、文本-矢量、手写数学表达式和文本-3D等
AI赋能金融科技，VisualProject引领项目管理新潮流
weixin_46916369的博客
01-06 328
金融科技项目管理迈入AI赋能新阶段，VisualProject引领智能化转型。随着金融科技竞争转向"体系化能力"，传统管理模式面临需求断层、资源失衡等痛点。维普时代推出的VisualProject通过AI深度融入项目全流程，实现智能需求解析、资源协同和风险预警，使招商银行等项目效率提升40%、延期率降至8%。该产品构建"数据驱动决策"体系，提供30余项核心指标分析，助力金融机构实现精准管理。未来，AI与项目管理的深度融合将持续推动金融科技高质量发展。
2025年终总结
李梨同学的博客
12-31 937
以往，想把一个产品从想法变成现实，往往离不开一整条由“螺丝钉”拼出来的流水线：需求评审、产品对接、研发排期、测试上线，每一步都要仰赖他人的时间与资源。我试图推倒技术的高墙，用通俗有趣的语言，把晦涩的AI原理“翻译”给更多人听。这条路注定充满了不确定性。正是这风暴般的时代，打破了旧有的壁垒，赋予了像我这样曾经“不务正业”的个体前所未有的杠杆。这一年，我拒绝做一个默默敲代码的“独行侠”，决定走出去，构建自己的知识品牌。三年后再次站在时间的节点回望，这一年于我而言，是从“被浪推着走”到“学会造浪”的转折点。
人工智能基础篇：概念性名词浅谈（第十五讲）
m0_53104033的博客
12-31 955
本文介绍了两种改进的自编码器模型。正则自编码器通过在损失函数中添加正则化项，实现了对稀疏表示、噪声鲁棒性等特性的学习，突破了传统自编码器的容量限制。随机编码器则通过向编解码器注入噪声，形成生成模型架构，其训练目标是最小化输入与重构间的负对数似然。文章还特别介绍了针对矩阵数据的改进版本MRAE及其在异常检测中的应用。这些模型通过不同的正则化机制，有效提升了自编码器的特征学习能力。
【金猿CIO展】上海康展物流有限公司董事长兼CIO王浩：AI驱动数智化转型——医药物流供应链的全链路革新之路
数据猿
01-04 626
未来，我们将继续聚焦技术创新与服务升级，深化人工智能、物联网等技术在全场景的应用，以更高效、更合规、更智能的供应链服务，助力大健康产业发展，致力于成为专业医药物流最佳服务商，与行业伙伴共同构建更具韧性与价值的供应链生态。：建立全链路透明服务体系，客户、委托方、康展物流、承运商派送商四方均可通过WEB端、移动端实时跟踪订单信息、物流状态、车辆位置与温度数据，实现发货通知、时效跟踪、回单状态查询、异常反馈等全流程可视化，变被动查询为主动感知。数智化转型的终极目标，是实现运营模式的升级与服务价值的重塑。
GitHub 热榜项目 - 日榜(2026-1-1)
CoderJia的学习之路
01-01 1089
本期GitHub热榜显示AI应用开发正全面渗透各技术领域，前沿项目聚焦于解决实际工程问题。Gemini的电脑使用预览和Timescale的pg-aiguide展示了AI与开发工具深度整合，通过MCP服务器提升代码生成质量。Pathway框架和docetl系统凸显流式ETL与LLM管道技术成熟，推动实时数据分析与RAG应用落地。同时，来自ResembleAI的Chatterbox和TrendRadar分别代表语音合成与智能信息聚合的技术突破，Deep-Live-Cam则体现单图视频生成技术的平民化趋势。这些项
机器学习-逻辑回归的成本函数
weixin_64179111的博客
01-02 323
所以我们只关注对数函数 横轴0-1的部分，因为我们模型0要输出两种情况，0-1，所以要分情况去定义成本函数，1是一种情况，0是一种情况，在用代码实现的时候，也要对数据集的输出结果进行区分然后再带入模型进行训练，要用梯度下降，对模型进行训练，代价函数最好是凸函数，这样用梯度下降优化的时候，可以找到全局最小值，在线性回归中，成本函数是，均方误差，计算预测值和真实值的差值的平方，然后取平均值，来衡量模型的效果，所以我们要找到一个新的损失函数来定于逻辑回归的成本函数，如下图所示。下面是输出为0的时候的成本函数。
以 JoyAgent-JDGenie 项目为例：如何利用 AI Agent 高效学习开源框架
caicongyang
01-05 939
本文以JoyAgent-JDGenie项目为例，介绍利用AI技术高效学习开源框架的方法。
PBA-PEG-Silane，苯硼酸-聚乙二醇-硅烷在二氧化硅表面修饰中的应用研究
lk13186385584的博客
01-04 377
PBA-PEG-Silane是一种集成了苯硼酸（PBA）、聚乙二醇（PEG）和硅烷偶联剂的三功能分子。
调用embedding生成向量并存储到milvus中，进行查询
java
01-04 235
先按装docker ,milvus,attu。Attu 是 milvus 的可视化界面，第一步：操作milvus 的工具类。第二步：对应操作的实体对象。这里需要jdk21.三个节点都需要起动。
Hard Negative Mining: 面向企业RAG系统的领域特定检索优化框架
最新发布
狮子座明仔知识集散场
01-06 421
摘要：本研究提出Hard Negative Mining框架，针对企业RAG系统中的领域特定检索问题，通过多模型嵌入集成（6种双编码器模型）和PCA降维（保留95%方差）生成语义表示，创新性地采用双条件筛选策略选择高质量硬负样本。实验表明，该方法在企业内部数据集上MRR@10达到0.64，相比基线提升42%，且跨金融、气候等领域保持33-45%的性能提升。核心贡献包括：1）多模型互补表示解决语义不匹配；2）双条件选择策略提升负样本质量；3）高效PCA降维优化。局限在于长文档处理和跨语言支持，未来将探索分层嵌
TransUNet: Rethinking the U-Net architecture design for medical image segmentation through
06-09
### TransUNet架构设计及其在医学图像分割中的改进 TransUNet 是一种结合了 Transformer 和 U-Net 的混合架构，旨在解决传统卷积神经网络（CNN）在处理长距离依赖和复杂特征时的不足。以下是 TransUNet 的核心设计和改进： #### 1. 架构概述 TransUNet 将 Transformer 引入到传统的 U-Net 结构中，通过以下方式增强其性能： - **Transformer Encoder**：利用多头自注意力机制（Multi-head Self-Attention, MHSA），捕捉全局上下文信息[^4]。 - **Decoder**：采用与 U-Net 类似的解码器结构，结合跳过连接（Skip Connection）恢复高分辨率特征图[^5]。 这种设计使得 TransUNet 能够在保持计算效率的同时，显著提升对复杂医学图像的分割精度。 #### 2. 改进点分析 TransUNet 在医学图像分割任务中引入了以下关键改进： - **长距离依赖建模**：相比于传统的 CNN，Transformer 的自注意力机制能够更好地捕捉图像中的长距离依赖关系，这对于医学图像中需要精确分割的小目标尤其重要[^6]。 - **多尺度特征融合**：通过结合 Transformer 和 CNN 的优势，TransUNet 能够在不同尺度上提取特征，并通过跳跃连接将这些特征有效融合[^7]。 - **轻量化设计**：尽管引入了 Transformer，TransUNet 仍然保持了较低的计算复杂度，这得益于其模块化的设计和高效的实现方式[^8]。 #### 3. 实现细节 以下是 TransUNet 的实现步骤和代码示例： ```python import torch import torch.nn as nn from transformer import Transformer class TransUNet(nn.Module): def __init__(self, img_size=224, patch_size=16, in_channels=3, num_classes=2, embed_dim=768, depth=12, num_heads=12): super(TransUNet, self).__init__() self.encoder = Transformer(img_size, patch_size, in_channels, embed_dim, depth, num_heads) self.decoder = UNetDecoder(embed_dim, num_classes) def forward(self, x): encoded_features = self.encoder(x) # Extract features using Transformer output = self.decoder(encoded_features) # Decode to generate segmentation map return output class UNetDecoder(nn.Module): def __init__(self, input_dim, num_classes): super(UNetDecoder, self).__init__() self.upconv1 = nn.ConvTranspose2d(input_dim, 512, kernel_size=2, stride=2) self.upconv2 = nn.ConvTranspose2d(512, 256, kernel_size=2, stride=2) self.final_conv = nn.Conv2d(256, num_classes, kernel_size=1) def forward(self, x): x = self.upconv1(x) x = self.upconv2(x) x = self.final_conv(x) return x ``` #### 4. 实验结果与比较 实验表明，TransUNet 在多个医学图像分割数据集上表现出色。例如，在 CT 腹部图像分割任务中，TransUNet 的 Dice 系数显著高于传统的 U-Net 和 Attention U-Net[^9]。此外，TransUNet 还展示了良好的泛化能力，能够在不同规模的数据集上保持稳定的性能[^10]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

二苏旧局吖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值