jessIoss-优快云博客

原创【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake

由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。

2025-11-23 19:13:18 128

原创【SeeABLE】SeeABLE: Soft Discrepancies and Bounded Contrastive Learning for Exposing Deepfakes

同数据集训练测试现代深度伪造检测器效果已经很好。当这些检测器应用于使用未知的deepfakegeneration技术产生的图像时，通常会观察到相当大的性能下降。【unseen 泛化性差】我们提出了一种新的deepfake检测器，称为SeeABLE，它将检测问题形式化为（一类）分布外检测任务，并更好地推广到看不见的deepfake。SeeABLE首先生成局部图像扰动（称为软差异），然后使用一种新的基于回归的有界对比度损失将扰动的面部推向预定义的原型。

2025-11-17 22:41:41 11

原创【UniForensics 】UniForensics: Face Forgery Detection via General Facial Representation

Deepfakes的兴起大大提高了人们对数字媒体隐私和真实性的关注，使人们对人脸伪造检测产生了广泛的关注。【背景】以前的Deepfake检测方法大多依赖于易受扰动的低级纹理特征无法检测出不可见的伪造方法。【之前的工作】相比之下，高级语义特征不太容易受到扰动，并且不限于伪造特定伪影，因此具有更强的泛化能力。【point】受此启发，我们提出了一种利用人脸的高级语义特征来识别时间域中不一致的检测方法。我们引入了，这是一种新型的深度伪造检测框架，它利用基于transformer的视频分类网络，

2025-11-06 22:51:13 36

原创【HSFF 】HSFF-Net: Hierarchical spectral-feature fusion network for deepfakedetection and localization

Deepfake技术的快速发展对多媒体真实性构成了严重威胁，促使人们越来越关注Deepfake检测。【背景】然而，大多数现有方法只关注分类，而忽略了伪造定位，这对于理解操纵意图至关重要。【现状动机】为了解决这个问题，我们提出了一种新的分层光谱特征融合网络（HSFF-网络）用于从空间和频域视图进行深度伪造检测和定位。【创新点】【空间和频域结合】具体而言，频谱细节放大（SDA）模块在频域中增强面部特征周围的篡改线索。【频域增强面部特征】

2025-11-01 16:14:27 41

原创【ED4 】ED4 : Explicit Data-level Debiasing for Deepfake Detection

从有限的数据中学习固有偏差一直被认为是具有推广性的深度伪造检测失败的主要原因。【也就是泛化性提升的主要原因之一，训练数据学习的特征总会不可避免的学习到有限数据集中内在固有特征，即为固有偏差。出发点：【如何避免这些固有偏差，也是提升泛化性的必要考量】除了发现的内容和特定伪造偏差之外，我们揭示了一种新的空间偏差，其中检测器惰性地预期观察到出现在图像中心的结构伪造线索，也可能导致现有方法的推广性差。【泛化性差的因素】我们提出了ED4，一种简单有效的策略，为了。

2025-10-28 11:02:19 27

原创【3DAD】Within 3DMM Space: Exploring Inherent 3D Artifact for Video Forgery Detection

deepfake技术的惊人发展和潜在滥用引发了许多隐私和安全问题，引发了广泛的担忧。【背景】现有的deepfake检测方法专注于分析面部的局部区域，例如嘴部运动，眨眼频率等，然而，这些方法在捕获伪造面部中存在的全局不一致性方面受到限制。【现状——全局不一致性还是受到限制】[那么就要从全局不一致性的角度入手]针对一些研究者试图捕捉与人脸全局信息相关的3D伪影，但通常将3D信息仅仅作为输入【缺乏深入分析的缺点】本文创新性地提出3D伪影检测器（3DAD）方法，其利用伪造视频中的3D语义空间上的时空不一致性。

2025-10-20 16:54:57 23

原创【FairForensics】mitigating attribute bias in deepfake detection by integrating texture and attribute

针对Deepfake检测中的公平性问题，本文提出一种融合属性特征和纹理特征的公平人脸伪造检测方法FairForensics。设计fairattribute模块来提取与性别、种族等人脸属性相关的高层语义特征，fairtexture模块深入分析人脸纹理细节来提取伪造特征。引入时空频域伪造线索，设计时空公平聚合器，通过时空公平注意机制的交互实现两种特征的深度融合，生成更公平，更准确的综合特征表示。用详细的人口统计信息注释。

2025-09-26 22:52:58 51

原创【HODFF】Safeguarding media integrity: A hybrid optimized deep feature fusion based deepfake detection

该框架包括几个关键组件：（A）预处理，（B）InceptionResNet模型的集成过程，（C）用于特征表示的级联过程，（D）双向长短期记忆（BiLSTM）的工作流集成，以及（E）用于视频分类的多数投票规则。

2025-09-17 22:16:08 51

原创【SCNN】Detecting facial manipulated videos based on set convolutional neural networks

提出一种将多个视频帧的人脸作为一个集合来考虑人脸操纵视频检测的新观点，并提出一种新的框架集卷积神经网络。所提出的框架的三个实例，即t_MesoNet，t_XceptionNet和t_XceptionNet_sv。寻找一个更好的骨干网络将是进一步改进的方向。注：仅供学习交流。

2025-09-07 18:26:53 47

原创【re】Advances in DeepFake detection algorithms: Exploring fusion techniques in single and multi-modal

广泛总结了两大类，即单模态和多模态方法下的各种deepfake检测框架。检测是防止危险影响的必要条件。根据输入特征的数量，方法，融合策略，和分类模块。传统的Deepfake检测算法由于低级特征提取和简单的分类模块而被广泛使用。一方面，深度学习和混合Deepfake检测方法利用大量训练数据来评估模型性能。另一方面，多模态框架通过在特征提取模块中使用多种模态并将其融合以生成统一的特征来提供更真实的场景，以实现高效的deepfake分类。注：仅供学习交流。

2025-08-19 22:02:19 101

原创【Feature stacking】Deepfake detection using deep feature stacking and meta-learning

在两个数据集的训练阶段，已经测量了训练损失，训练准确度，验证损失和验证准确度，并且每当达到新的最佳验证精度时，该模型与其当前权重值一起被保存，使得稍后，它被认为是将被用作元学习模型的每个模型的最佳执行版本。在元学习模型的情况下，我们决定使用一个简单的基于MLP的分类器。结果在图7a-7 b中给出。在两个数据集的训练阶段，我们已经测量了训练损失、训练准确度、验证损失和验证准确度，每当达到一个新的最佳验证准确度时，模型就会保存其当前的权重值，这样，以后它就被认为是我们将用作集成成员的每个模型的最佳性能版本。

2025-08-09 11:41:45 76

原创【Fre】Frequency-Aware Deepfake Detection: Improving Generalizability through Frequency Space Learning

主要关注点在于可推广的Deepfake检测领域。目标是构建一个通用的检测器，即使面对受约束的训练源，也能够准确识别Deepfake图像。考虑一个现实世界的图像场景，表示为从n个不同的源采样的X：其中Ni表示源自第i个源Xi的图像的数量，xi j是Xi的第j个图像。每个图像都用y标记，指示它是否属于“真实的”（y = 0）或“假的”（y = 1）的类别。在这里，我们利用训练源Xi训练二元分类器D（·）：l（）表示损失函数。

2025-07-23 10:50:31 144

原创【Malware DS】Understanding Miniapp Malware: Identification, Dissection, and Characterization

通过对腾讯恶意样本的调查，我们从两类恶意软件中提取了规避特征码，对被移除的小应用进行了恶意软件识别。识别过程采用16个线程，持续了一个多月，得到19，905个恶意软件样本。对有效性的威胁为了评估恶意软件检测的准确性，我们从收集数据中抽取500哥迷你应用，并手动检查miniapp是否涉及规避签名。尽管这些文件可能被严重混淆，但我们仍尽我们所知评估了相关敏感API的语义，以确定它是否涉及我们从可能导致代码副作用的规避示例中提取的代码签名（例如，程序行为或显示项目的改变）。

2025-07-14 11:20:11 75

原创【KeyMagnet】The Skeleton Keys: A Large Scale Analysis of Credential Leakage in Mini-apps

超级应用平台为迷你应用服务器提供对大量基本资源和服务的访问，例如支付处理、云使用、人工智能服务和迷你应用分析（步骤2 )。这种访问使迷你应用服务器能够通过强大实用的功能来增强其产品，并更好地为其迷你应用提供服务（步骤3)。为了保护这些基本服务，已经实施了一个基于凭据的身份验证系统。【本身有这个凭据身份验证系统】在访问这些服务之前，迷你应用服务器首先从超级应用平台检索凭据（步骤1)。其次，当在miniapp服务器中调用特权服务时（步骤2)，它发送带有凭证的身份验证请求。

2025-06-20 20:13:21 109

原创【AVoiD-DF】AVoiD-DF: Audio-Visual Joint Learning for Detecting Deepfake

提出用于检测Deepfake的视听联合学习（AVoiD-DF），它联合学习用于多模态Deepfake检测的视听不一致性。引入用于特征嵌入的时空编码器（TSE），旨在探索视听在时空层面的不一致性，以进行深度伪造检测。提出多模态联合解码器（MMD），用于联合学习多模态交互和融合视听信息。提出用于操纵检测的跨模态分类器和用于判断深度伪造的跨模态损失函数。为深度伪造检测提供一个新的基准DefakeAVMiT，希望它能为该社区的进一步研究带来好处。【如何更有效地发现模态间的不一致性。

2025-06-17 16:01:17 122

原创【MDS】Not made for each other– Audio-Visual Dissonance-based Deepfake Detection and Localization

提出了一种基于模态不一致评分（MDS）的新型双峰深度伪造检测方法，该方法捕获了真实和伪造视频的音频和视频流之间的相似性，从而促进了可分离性。MDS是通过在分段级视听特征上计算的对比损失来建模的，这限制了真实的视听流比虚假的视听流更接近。此外，对单峰流实施交叉熵损失，以确保它们独立学习判别特征。实验表明：（a）基于MDS的FD框架可以在DFDC数据集上实现最先进的性能，（b）单峰交叉熵损失在对比损失的基础上提供了额外的好处，以提高FD性能。注：仅供学习交流。

2025-06-13 09:58:54 64

原创【MHF+RGSA+DCMA】Generalizing Face Forgery Detection with High-frequency Features

在五个大型基准数据库上进行实验，即FaceForensics++（FF++）[40]、DeepfakeDetection（DFD）[2]、深度伪造检测挑战赛（DFDC）[1]、CelebrDF[31]和DeeperForensics-1.0（DF1.0）[24]。在FF++（HQ）数据库[40]上进行这项实验，该数据库包含来自四种不同操作技术的伪造图像，即DeepFakes（DF）[3]、Face2Face（F2F）[47]、FaceSwap（FS）[5]和NeuralTextures（NT）[46]。

2025-06-04 09:36:52 116

原创【AVT2-DWF】Improving Deepfake Detection with Audio-Visual Fusion and Dynamic Weighting Strategies

第i个头由模态共享矩阵W（i）q、W（i，k）、W（i）v∈R d×dh参数化，该矩阵将多模态输入Aclass、Fclass转换为模态感知查询q（i）f/a、键k（i）d/a和值v（i）f/a。在这两个基准测试中，与传统的补丁方法相比，提出的n帧令牌化策略的性能分别提高22.45%和3.74%，证明我们的系统在保持整个人脸连续信息方面的有效性。随着DWF模块的引入，它们的检测结果分别提高11.55%和12.89%，突显DWF模块在捕获不同模态的共享特征方面的显著优势。LN和RC也稳定训练。

2025-06-03 15:52:04 78

原创【AFW+GRU（CNN+RNN）】Deepfakes Detection with Automatic Face Weighting

对于每个人脸区域，GRU将一个维度为2051的向量作为输入，该向量由从EfficientNet中提取的特征（维度为2048）、估计的logit lj、估计的加权值wj和自动人脸加权后的估计操纵概率pw组成。然而，这个辅助网络不是为了最小化真实/虚假分类的二进制交叉熵而训练的，而是为了预测我们的主网络的预测与地面真实标签之间的误差而训练的。wj和lj是主网络输出的权重和logit，w b j和l b j是第j个输入面区域的增强网络输出的权重来logit，σ（.）是Sigmoid函数。【一种新的模型架构】

2025-06-03 09:17:17 349

原创【irregular swap】An Examination of Fairness of AI Models for Deepfake Detection

另一方面，大多数（61%）（40/66视频）的假与女性亚洲前景的脸被交换到女性白人的脸，只有7%的人交换到亚洲女性的面孔上。UTKFace是一个大规模的人脸数据集，具有较长的年龄跨度。所有检测器在包含男性和女性主体的真实的和deepfake图像上的表现相同，并且所有使用BI训练的检测器在具有深色非洲面孔的媒体上的表现最差。据我们所知，提到关于假图像和真实的图像之间的性能的类似观察的最接近的工作是Carlini和Farid的工作[Carlini和Farid，2020]作者使用对抗性攻击来改变检测器的预测。

2025-06-01 18:56:52 516

原创【DeepFakeAnnotations】Analyzing Fairness in Deepfake Detection With Massively Annotated Databases

基于对三个骨干网络的关键观察分析，在开发适用于现实世界应用的Deepfake检测方法方面似乎存在重大研究差距。然而，可能需要对其他方法进行进一步分析，以做出更明确的声明。分析指出，需要更多样化和更丰富的注释数据集来进行训练和测试，以及开发减轻偏见的Deepfake检测方法。【需要更多更好更丰富的数据集】

2025-05-30 17:52:15 62

原创【ArtificialFingerprint】Artificial Fingerprinting for Generative Models: Rooting DeepfakeAttribution

为了可持续性，我们在模型发明者方面研究一种主动解决方案，使deepfake检测与生成模型无关。将deepfake检测植根于训练数据，并证明人工指纹从训练数据到各种生成模型的可移植性。我们的实证研究显示指纹的几个有益特性，以及完美的检测和归因准确性。我们的解决方案通过为每个模型分配唯一的指纹，为发明者的责任披露开辟了可能性。注：仅供学习交流。

2025-05-22 11:55:25 106

原创【Transformer-based】A transformer-based adversarial network framework for steganography

隐写术是一种将信息隐藏在载体数据中进行秘密传输的隐蔽通信方法。通信涉及各种多媒体文件和复杂数据的传输。广泛的数据交换提供了隐写术是一种隐藏信息的艺术，其中不可感知性是至关重要的。用于隐藏秘密信息的对象被称为载体介质，而包含隐藏信息的对象被称为隐写介质。为了提高隐写图像的不可感知性，我们使用注意力机制代替CNN从载体图像中提取特征，使模型能够更好地学习图像的纹理结构，并通过特定的训练策略，使嵌入的数据对潜在的噪声攻击具有鲁棒性，确保信息的正确提取。

2025-05-18 17:44:30 434 3

原创【steganalysis】Enhancing practicality and efficiency of deepfake detection

因为我们使用8 × 8基于块的DCT，每个块的直流系数代表该块的均值，因此，原始人脸帧的副本存在于DCT空间中，调整大小为1/8这可以解释为什么DCT网络的性能比RGB或YCbCr颜色空间稍差，以及为什么当组合时它没有提高性能在多模态环境中的空间表示。但是，如果足够关注细节的攻击者能够通过以与我们方法相同的间隔插入真实的人脸来生成深度伪造视频，尽管这可以容易地被标记，因为它导致跨序列帧的视觉平滑度的缺乏，但是可以通过考虑使用来自视频的随机帧间隔或锚定关键帧来减轻这种脆弱性。与每个视频相关联的标签是绿色的。

2025-05-15 22:21:53 152

原创【DFGNN】DFGNN: An interpretable and generalized graph neural network for deepfakes detection

n]和M是特征维度。卷积层采用h×w×c作为输入大小，其中h=w=224，c=3，以及S步长，2S-1作为核大小，S-1作为填充，c’作为核数。在这种技术中，每个邻居的向量通过一个完全连接的神经网络独立馈送，来自所有邻居的信息使用元素最大池操作进行聚合，这有助于减少通用性的损失。从图8（b）可以看出，在第一个连续块之后的节点之间创建的边更接近其相似的相邻节点，这显示了基于其内容的节点的连接性（Han，Wang，Guo，Tang，&Wu，2022）。，topt]，每次迭代后，顶部都会用新的权重进行更新。

2025-05-13 11:51:26 98

原创【FakeVLM】SpottheFake:LargeMultimodal Model-Based Synthetic ImageDetection with Artifact Explanation

人工智能生成图像的快速增长对信息的真实性提出了挑战，推动了对可靠和透明检测方法的需求。随着图像合成检测技术与多模态大语言模型（MLLM）的发展，方法已经从非MLLM转向基于MLLM的方法。FakeVLM利用大型模型的潜力进行合成检测，而不依赖于专家分类器。它在合成检测和伪影解释任务中表现良好，为合成图像检测的未来研究提供了新的见解和方向。注：仅供学习交流。

2025-05-09 16:49:48 131

原创【MDIM+IIGL】Mining Generalized Multi-timescale Inconsistency for Detecting Deepfake Videos

专注于挖掘更具泛化能力的多时间尺度不一致性从LCST时间视图中通过多径放大来挖掘微妙的动态不一致性域对齐模块通过同时打乱域间和域内的特征分布来直接减少间隙注：仅供学习交流。

2025-05-05 21:51:49 118

原创【BridgingBSDA】Narrowing Domain Gaps With Bridging Samples for Generalized FF Detection

从一个新的角度研究了广义伪造检测，即基于桥接跨域比对来缩小大的分布间隙。【创新视角】框架设计有三个关键步骤：预防、弥合和调整分配差距。【生成分布在域之间的桥接样本】【缩小分补差距】

2025-05-01 11:44:46 84

原创【CD】Collaborative Diffusion for Multi-Modal Face Generation and Editing

【多模态条件反射】提出了协同扩散，其中预训练的单峰扩散模型无需重新训练即可协同实现多模态人脸生成和编辑。通过我们的动态扩散器，该框架可以通过预测不同模态的相对影响，将任意单峰方法扩展到多模态范式。

2025-04-25 11:10:08 103

原创【CV】CV for Deepfake Immunity

提出了一种网络疫苗接种机制，用于赋予deepfakes免疫力。有待改善注：仅供学习交流。

2025-04-15 15:53:38 45

原创【3dSwap】3D-Aware Face Swapping

在之前的工作[46]之后，我们使用三个不同的目标来监督一对输入图像x和重建x′（x′也是如此），包括像素级L1损失、学习感知图像路径相似性[58]损失LLP IP S和身份相似性损失Lid，最大化ArcFace估计的两个身份嵌入之间的余弦相似性[19]。对于人脸交换的任务，如果身份特征可以从潜在代码中的属性特征中分离出来，这是可取的。其中θ∗是EG3D生成器的参数，ds是源图像的方向，Mf是屏蔽面部区域的二值掩模，L（·，·）是包括MSE、LPIPS[58]和ID[19]损失的优化约束。

2025-04-12 18:16:31 268

原创【Gram-Net】Global Texture Enhancement for Fake Face Detection In the Wild

分析中，我们计算了整个数据集的Pθd以获得统计结果，其中d∈{1,2,5,15,20}和θ∈{0，π/2，π，3π/2}表示{右、下、左、上}，d和θ可以分别捕捉不同大小和方向的纹理的属性。卷积神经网络的判别区域（图2中的暖色区域）主要位于纹理区域，如皮肤和头发，而具有明显伪影的区域（图2的冷色、红色边界框）的贡献很小。表6中的结果表明，在更真实的数据集（FFHQ）和更强的GAN（StyleGAN）上训练的假图像检测器具有更强的能力，可以交叉到不太真实的数据集中（Celebra HQ）和不太强大的GAN。

2025-04-10 19:52:25 139

原创【STIDNet】STIDNet: Identity-Aware Face Forgery Detection with Spatiotemporal Knowledge Distillation

实际上，音频数据在时间上编码了丰富的上下文信息，并且与说话面部视频中的视觉内容呈现出很强的相关性[36]、[47]、[55]、[56]。受[33]的启发，我们建议应用面部地标匹配策略进行增强。如图4（左）所示的知识提取过程，我们的多教师知识提取架构由两个预训练的教师网络SIE、TIE和一个学生身份提取器g组成，其中g是用于视频身份提取的轻量级视频骨干。在参考集小得多的情况下，我们的方法与数据集参考方法ICT-Ref相比也获得了具有竞争力的性能，这进一步证明了我们的方法在有限参考数据下的有效性和实用性。

2025-04-08 23:06:07 113

原创【UIAVIT】UIA-ViT:Unsupervised Inconsistency-Aware Method based on VisionTransformer for Face ForgeryD

为了确定哪一层是进行伪造位置预测的MVG估计的最佳选择，我们训练了基线ViT-Base模型，并从不同的中间层提取补丁嵌入，以更新相应的MVG分布。为了保证来自我们网络的这种补丁嵌入捕获更多的局部纹理信息而不是高级语义信息，我们执行了如图5所示的几种可视化，最后利用UIA-ViT网络Block6（即K=6）的补丁嵌入FP来近似估计伪造位置图。我们选择不同的查询位置，并用所有补丁嵌入的关键字显示它们的注意力图。表示位置（i，j）的嵌入与位置（k，l）的其他补丁嵌入之间的一致性，值越高表示两个位置的一致性越高。

2025-03-26 11:41:57 97

原创【LRN】Improving the Efficiency and Robustness of DeepfakesDetection through Precise GeometricFeatures

在分类过程中，我们的双流网络中的每个RNN都是双向的，由GRU（门控循环单元）组成，其输出单元的数量设置为k=64。我们可以从结果中得出结论，我们的方法对视频压缩的性能相对更稳定。给定来自以xi=[x，y]T为中心的帧i的小图像补丁Pi，其中来自帧i+1的另一个相同大小的补丁Pi+1，我们试图找到位移向量d=[dx，dy]T以最小化Pi和Pi+1之间的差异，然后我们可以获得跟踪预测xi+1=xi+d。原因在于，由校准的地标训练的模型可以更好地捕捉异常的面部运动，而不是地标检测器带来的噪声。

2025-03-17 11:21:06 113

原创【Diffswap】Diffswap: Highfidelity and controllable face swapping via 3d-aware masked diffusion

我们证明我们的方法可以产生高保真的人脸交换结果，特别是在人脸形状和局部特征（眼睛，鼻子，嘴巴）上。3D人脸重建结果由描述形状，表情，姿态，纹理等的几个参数组成，这样我们就可以简单地将重建的目标人脸的形状替换为源人脸的形状，然后使用交换后的参数重建一个新的人脸，并获得相应的2D人脸标志点Lswqp，该标志点可以进一步输入我们的人脸交换模型。我们的框架在设计上是高度可控的，因为我们可以在推理过程中改变掩码M和条件输入C swap，因此，我们可以对M或C swap进行仔细的设计，以产生更可信的人脸交换结果。

2025-03-14 19:45:34 187

原创【Diffusion】DiffusionFake: Enhancing Generalization in Deepfake Detection via Guided Stable Diffusion

这种预训练良好的模型可以有效地捕捉和量化图像之间的差异，为测量输入图像与其相应的源图像和目标图像之间的相似性提供可靠的依据。通过使用相应的特征指导源图像和目标图像的重建，引导模块有助于学习丰富和有区别的表示，从而提高伪造检测器在各种域和攻击类型中的性能。在每个时间步长t，模型学习预测添加到源或目标图像的潜在表示中的噪声。对于与目标更相似的样本，如NeuralTextures和Face2Face，由于它们包含的目标特征比例很高，相应的目标分数较高（大于0.95），而源分数较低，因为源特征的存在有限。

2025-03-12 11:19:40 297 1

空空如也

空空如也