jessIoss-优快云博客

原创【MDS】Not made for each other– Audio-Visual Dissonance-based Deepfake Detection and Localization

提出了一种基于模态不一致评分（MDS）的新型双峰深度伪造检测方法，该方法捕获了真实和伪造视频的音频和视频流之间的相似性，从而促进了可分离性。MDS是通过在分段级视听特征上计算的对比损失来建模的，这限制了真实的视听流比虚假的视听流更接近。此外，对单峰流实施交叉熵损失，以确保它们独立学习判别特征。实验表明：（a）基于MDS的FD框架可以在DFDC数据集上实现最先进的性能，（b）单峰交叉熵损失在对比损失的基础上提供了额外的好处，以提高FD性能。注：仅供学习交流。

2025-06-13 09:58:54 1

原创【MHF+RGSA+DCMA】Generalizing Face Forgery Detection with High-frequency Features

在五个大型基准数据库上进行实验，即FaceForensics++（FF++）[40]、DeepfakeDetection（DFD）[2]、深度伪造检测挑战赛（DFDC）[1]、CelebrDF[31]和DeeperForensics-1.0（DF1.0）[24]。在FF++（HQ）数据库[40]上进行这项实验，该数据库包含来自四种不同操作技术的伪造图像，即DeepFakes（DF）[3]、Face2Face（F2F）[47]、FaceSwap（FS）[5]和NeuralTextures（NT）[46]。

2025-06-04 09:36:52 33

原创【AVT2-DWF】Improving Deepfake Detection with Audio-Visual Fusion and Dynamic Weighting Strategies

第i个头由模态共享矩阵W（i）q、W（i，k）、W（i）v∈R d×dh参数化，该矩阵将多模态输入Aclass、Fclass转换为模态感知查询q（i）f/a、键k（i）d/a和值v（i）f/a。在这两个基准测试中，与传统的补丁方法相比，提出的n帧令牌化策略的性能分别提高22.45%和3.74%，证明我们的系统在保持整个人脸连续信息方面的有效性。随着DWF模块的引入，它们的检测结果分别提高11.55%和12.89%，突显DWF模块在捕获不同模态的共享特征方面的显著优势。LN和RC也稳定训练。

2025-06-03 15:52:04 19

原创【AFW+GRU（CNN+RNN）】Deepfakes Detection with Automatic Face Weighting

对于每个人脸区域，GRU将一个维度为2051的向量作为输入，该向量由从EfficientNet中提取的特征（维度为2048）、估计的logit lj、估计的加权值wj和自动人脸加权后的估计操纵概率pw组成。然而，这个辅助网络不是为了最小化真实/虚假分类的二进制交叉熵而训练的，而是为了预测我们的主网络的预测与地面真实标签之间的误差而训练的。wj和lj是主网络输出的权重和logit，w b j和l b j是第j个输入面区域的增强网络输出的权重来logit，σ（.）是Sigmoid函数。【一种新的模型架构】

2025-06-03 09:17:17 245

原创【irregular swap】An Examination of Fairness of AI Models for Deepfake Detection

另一方面，大多数（61%）（40/66视频）的假与女性亚洲前景的脸被交换到女性白人的脸，只有7%的人交换到亚洲女性的面孔上。UTKFace是一个大规模的人脸数据集，具有较长的年龄跨度。所有检测器在包含男性和女性主体的真实的和deepfake图像上的表现相同，并且所有使用BI训练的检测器在具有深色非洲面孔的媒体上的表现最差。据我们所知，提到关于假图像和真实的图像之间的性能的类似观察的最接近的工作是Carlini和Farid的工作[Carlini和Farid，2020]作者使用对抗性攻击来改变检测器的预测。

2025-06-01 18:56:52 456

原创【DeepFakeAnnotations】Analyzing Fairness in Deepfake Detection With Massively Annotated Databases

基于对三个骨干网络的关键观察分析，在开发适用于现实世界应用的Deepfake检测方法方面似乎存在重大研究差距。然而，可能需要对其他方法进行进一步分析，以做出更明确的声明。分析指出，需要更多样化和更丰富的注释数据集来进行训练和测试，以及开发减轻偏见的Deepfake检测方法。【需要更多更好更丰富的数据集】

2025-05-30 17:52:15 30

原创【ArtificialFingerprint】Artificial Fingerprinting for Generative Models: Rooting DeepfakeAttribution

为了可持续性，我们在模型发明者方面研究一种主动解决方案，使deepfake检测与生成模型无关。将deepfake检测植根于训练数据，并证明人工指纹从训练数据到各种生成模型的可移植性。我们的实证研究显示指纹的几个有益特性，以及完美的检测和归因准确性。我们的解决方案通过为每个模型分配唯一的指纹，为发明者的责任披露开辟了可能性。注：仅供学习交流。

2025-05-22 11:55:25 46

原创【Transformer-based】A transformer-based adversarial network framework for steganography

隐写术是一种将信息隐藏在载体数据中进行秘密传输的隐蔽通信方法。通信涉及各种多媒体文件和复杂数据的传输。广泛的数据交换提供了隐写术是一种隐藏信息的艺术，其中不可感知性是至关重要的。用于隐藏秘密信息的对象被称为载体介质，而包含隐藏信息的对象被称为隐写介质。为了提高隐写图像的不可感知性，我们使用注意力机制代替CNN从载体图像中提取特征，使模型能够更好地学习图像的纹理结构，并通过特定的训练策略，使嵌入的数据对潜在的噪声攻击具有鲁棒性，确保信息的正确提取。

2025-05-18 17:44:30 120 3

原创【steganalysis】Enhancing practicality and efficiency of deepfake detection

因为我们使用8 × 8基于块的DCT，每个块的直流系数代表该块的均值，因此，原始人脸帧的副本存在于DCT空间中，调整大小为1/8这可以解释为什么DCT网络的性能比RGB或YCbCr颜色空间稍差，以及为什么当组合时它没有提高性能在多模态环境中的空间表示。但是，如果足够关注细节的攻击者能够通过以与我们方法相同的间隔插入真实的人脸来生成深度伪造视频，尽管这可以容易地被标记，因为它导致跨序列帧的视觉平滑度的缺乏，但是可以通过考虑使用来自视频的随机帧间隔或锚定关键帧来减轻这种脆弱性。与每个视频相关联的标签是绿色的。

2025-05-15 22:21:53 107

原创【DFGNN】DFGNN: An interpretable and generalized graph neural network for deepfakes detection

n]和M是特征维度。卷积层采用h×w×c作为输入大小，其中h=w=224，c=3，以及S步长，2S-1作为核大小，S-1作为填充，c’作为核数。在这种技术中，每个邻居的向量通过一个完全连接的神经网络独立馈送，来自所有邻居的信息使用元素最大池操作进行聚合，这有助于减少通用性的损失。从图8（b）可以看出，在第一个连续块之后的节点之间创建的边更接近其相似的相邻节点，这显示了基于其内容的节点的连接性（Han，Wang，Guo，Tang，&Wu，2022）。，topt]，每次迭代后，顶部都会用新的权重进行更新。

2025-05-13 11:51:26 44

原创【FakeVLM】SpottheFake:LargeMultimodal Model-Based Synthetic ImageDetection with Artifact Explanation

人工智能生成图像的快速增长对信息的真实性提出了挑战，推动了对可靠和透明检测方法的需求。随着图像合成检测技术与多模态大语言模型（MLLM）的发展，方法已经从非MLLM转向基于MLLM的方法。FakeVLM利用大型模型的潜力进行合成检测，而不依赖于专家分类器。它在合成检测和伪影解释任务中表现良好，为合成图像检测的未来研究提供了新的见解和方向。注：仅供学习交流。

2025-05-09 16:49:48 53

原创【MDIM+IIGL】Mining Generalized Multi-timescale Inconsistency for Detecting Deepfake Videos

专注于挖掘更具泛化能力的多时间尺度不一致性从LCST时间视图中通过多径放大来挖掘微妙的动态不一致性域对齐模块通过同时打乱域间和域内的特征分布来直接减少间隙注：仅供学习交流。

2025-05-05 21:51:49 60

原创【BridgingBSDA】Narrowing Domain Gaps With Bridging Samples for Generalized Face Forgery Detection

从一个新的角度研究了广义人脸伪造检测，即基于桥接跨域比对来缩小大的分布间隙。【创新视角】框架设计有三个关键步骤：预防、弥合和调整分配差距。【生成分布在域之间的桥接样本】【缩小分补差距】

2025-05-01 11:44:46 44

原创【CD】Collaborative Diffusion for Multi-Modal Face Generation and Editing

【多模态条件反射】提出了协同扩散，其中预训练的单峰扩散模型无需重新训练即可协同实现多模态人脸生成和编辑。通过我们的动态扩散器，该框架可以通过预测不同模态的相对影响，将任意单峰方法扩展到多模态范式。

2025-04-25 11:10:08 48

原创【C yber V】Cyber V for Deepfake Immunity

提出了一种网络疫苗接种机制，用于赋予deepfakes免疫力。有待改善注：仅供学习交流。

2025-04-15 15:53:38 24

原创【3dSwap】3D-Aware Face Swapping

在之前的工作[46]之后，我们使用三个不同的目标来监督一对输入图像x和重建x′（x′也是如此），包括像素级L1损失、学习感知图像路径相似性[58]损失LLP IP S和身份相似性损失Lid，最大化ArcFace估计的两个身份嵌入之间的余弦相似性[19]。对于人脸交换的任务，如果身份特征可以从潜在代码中的属性特征中分离出来，这是可取的。其中θ∗是EG3D生成器的参数，ds是源图像的方向，Mf是屏蔽面部区域的二值掩模，L（·，·）是包括MSE、LPIPS[58]和ID[19]损失的优化约束。

2025-04-12 18:16:31 212

原创【Gram-Net】Global Texture Enhancement for Fake Face Detection In the Wild

分析中，我们计算了整个数据集的Pθd以获得统计结果，其中d∈{1,2,5,15,20}和θ∈{0，π/2，π，3π/2}表示{右、下、左、上}，d和θ可以分别捕捉不同大小和方向的纹理的属性。卷积神经网络的判别区域（图2中的暖色区域）主要位于纹理区域，如皮肤和头发，而具有明显伪影的区域（图2的冷色、红色边界框）的贡献很小。表6中的结果表明，在更真实的数据集（FFHQ）和更强的GAN（StyleGAN）上训练的假图像检测器具有更强的能力，可以交叉到不太真实的数据集中（Celebra HQ）和不太强大的GAN。

2025-04-10 19:52:25 77

原创【STIDNet】STIDNet: Identity-Aware Face Forgery Detection with Spatiotemporal Knowledge Distillation

实际上，音频数据在时间上编码了丰富的上下文信息，并且与说话面部视频中的视觉内容呈现出很强的相关性[36]、[47]、[55]、[56]。受[33]的启发，我们建议应用面部地标匹配策略进行增强。如图4（左）所示的知识提取过程，我们的多教师知识提取架构由两个预训练的教师网络SIE、TIE和一个学生身份提取器g组成，其中g是用于视频身份提取的轻量级视频骨干。在参考集小得多的情况下，我们的方法与数据集参考方法ICT-Ref相比也获得了具有竞争力的性能，这进一步证明了我们的方法在有限参考数据下的有效性和实用性。

2025-04-08 23:06:07 48

原创【UIAVIT】UIA-ViT:Unsupervised Inconsistency-Aware Method based on VisionTransformer for Face ForgeryD

为了确定哪一层是进行伪造位置预测的MVG估计的最佳选择，我们训练了基线ViT-Base模型，并从不同的中间层提取补丁嵌入，以更新相应的MVG分布。为了保证来自我们网络的这种补丁嵌入捕获更多的局部纹理信息而不是高级语义信息，我们执行了如图5所示的几种可视化，最后利用UIA-ViT网络Block6（即K=6）的补丁嵌入FP来近似估计伪造位置图。我们选择不同的查询位置，并用所有补丁嵌入的关键字显示它们的注意力图。表示位置（i，j）的嵌入与位置（k，l）的其他补丁嵌入之间的一致性，值越高表示两个位置的一致性越高。

2025-03-26 11:41:57 51

原创【LRN】Improving the Efficiency and Robustness of DeepfakesDetection through Precise GeometricFeatures

在分类过程中，我们的双流网络中的每个RNN都是双向的，由GRU（门控循环单元）组成，其输出单元的数量设置为k=64。我们可以从结果中得出结论，我们的方法对视频压缩的性能相对更稳定。给定来自以xi=[x，y]T为中心的帧i的小图像补丁Pi，其中来自帧i+1的另一个相同大小的补丁Pi+1，我们试图找到位移向量d=[dx，dy]T以最小化Pi和Pi+1之间的差异，然后我们可以获得跟踪预测xi+1=xi+d。原因在于，由校准的地标训练的模型可以更好地捕捉异常的面部运动，而不是地标检测器带来的噪声。

2025-03-17 11:21:06 63

原创【Diffswap】Diffswap: Highfidelity and controllable face swapping via 3d-aware masked diffusion

我们证明我们的方法可以产生高保真的人脸交换结果，特别是在人脸形状和局部特征（眼睛，鼻子，嘴巴）上。3D人脸重建结果由描述形状，表情，姿态，纹理等的几个参数组成，这样我们就可以简单地将重建的目标人脸的形状替换为源人脸的形状，然后使用交换后的参数重建一个新的人脸，并获得相应的2D人脸标志点Lswqp，该标志点可以进一步输入我们的人脸交换模型。我们的框架在设计上是高度可控的，因为我们可以在推理过程中改变掩码M和条件输入C swap，因此，我们可以对M或C swap进行仔细的设计，以产生更可信的人脸交换结果。

2025-03-14 19:45:34 74

原创【Diffusion】DiffusionFake: Enhancing Generalization in Deepfake Detection via Guided Stable Diffusion

这种预训练良好的模型可以有效地捕捉和量化图像之间的差异，为测量输入图像与其相应的源图像和目标图像之间的相似性提供可靠的依据。通过使用相应的特征指导源图像和目标图像的重建，引导模块有助于学习丰富和有区别的表示，从而提高伪造检测器在各种域和攻击类型中的性能。在每个时间步长t，模型学习预测添加到源或目标图像的潜在表示中的噪声。对于与目标更相似的样本，如NeuralTextures和Face2Face，由于它们包含的目标特征比例很高，相应的目标分数较高（大于0.95），而源分数较低，因为源特征的存在有限。

2025-03-12 11:19:40 133 1

原创【CSR-Net】CatmullRom Splines-Based Regression for Image Forgery Localization

为IFL精心设计了一个定制的基于CatmullRom样条的回归网络（CSR Net），该网络首次尝试将回归方法引入像素级（本文中的IFL）。与依赖于边界框的传统检测方法相比，我们首先引入了CatmullRom拟合技术，该技术对目标区域中的控制点进行轮廓建模，从而实现了更准确、更高效的篡改区域定位。然后，为了抑制FP，设计了一种综合重新评分算法（CRA），利用分类评分和实例评分对精确的篡改区域进行过滤。此外，我们提出了一个名为垂直纹理交互感知（VTP）的可学习区域纹理提取模块，以进一步细化边缘。

2025-03-08 10:57:56 69

原创【DF】Double Face: Leveraging User Intelligence to Characterize and Recognize AI-synthesized Faces

RQ1.人工智能合成的人脸图像是否包含用户通常感知到的伪影？【精确率】RQ2.人工智能合成的人脸图像中，合成伪影位于哪里？【伪影定位】RQ3.人工智能合成图像中感知到的伪影区域表现出哪些模式？【伪影模式】RQ4.如何使用用户感知来促进检测人工智能生成的人脸图像？【检测增强】开发了一种新方法，利用众包注释来系统地表征和识别人工智能合成的人脸图像。设计了一个用户研究来聚合和表征由多个用户（而不是单个研究人员或自动化系统）注释的AI合成伪影。

2025-03-03 17:15:31 68

原创【ADD】ADD: Frequency Attention and Multi-View Based Knowledge Distillation to Detect Low-Quality Comp

ADD：在KD框架下探索频率注意提取和多视图注意提取来检测高度压缩的深度伪造。频率注意力帮助学生从老师那里获取并更多地关注高频成分。【KD】受切片沃瑟斯坦距离（Sliced Wasserstein distance）启发的多视角注意力，将学生的输出张量分布推向教师的输出张量分布，保持多个视角（切片）张量元素之间的相关像素特征。注：仅供学习交流。

2025-02-26 17:18:32 55

原创【MS】MiniScope: Automated UI Exploration and Privacy Inconsistency Detection of MiniApps via Two-phas

本文介绍了一种使用混合分析来检测隐私不一致的工具。MiniScope利用静态分析为动态测试提供高级指导，并使用隐私策略交叉验证运行时行为。评估显示，MiniScope识别隐私实践的平均准确率、召回率和F1得分分别为99.2%、95.6%和97.4%。我们的大规模研究揭示了MiniApp生态系统中的隐私不一致问题，在127,460微信个MiniApp中，只有10,786个提供了有效的隐私政策，而2,282个（21.2%）显示了各种隐私侵犯。

2025-02-22 16:36:08 361

原创【FST】Explaining Deepfake Detection by Analysing Image Matching

Q>0表示学习到的与伪影相关的视觉概念与源/目标无关的视觉概念的关系比源/目标相关的视觉观念更密切。设h（·）表示最终预测模块。如图4所示，在配对训练集上训练的模型具有较大的Qτ值，表明训练集中的FST匹配有效地帮助模型定位源/目标无关的视觉概念，并将其视为伪影相关。令人惊讶的是，如图2和表11所示，与隐式学习的伪影视觉概念相比，这种学习的视觉概念与视频压缩具有很高的一致性。具体来说，由于压缩，隐式学习的伪影视觉概念可能与压缩的源视觉概念和假图像上的目标视觉概念无法区分，导致深度假检测模型做出错误的预测。

2025-01-07 23:12:21 273 1

原创【MC】MiniChecker: Detecting Data Privacy Risk of Abusive Permission Request Behavior in Mini-Programs

根据三个阶段观察到的不同特征，可以定义各种滥用权限请求行为的特征和模式。我们使用以下符号：（i） 𝑃表示特定权限请求行为的调用（在操作期间）；（ii）𝑃.𝑙𝑜x表示请求在页面文件中的位置；（iii）𝑃.info表示请求收集的用户信息类型（分类见表1）；（iv）𝑃.ce表示动作前存在条件分支（预动作）；（v） 𝑃.fcbe指动作后（动作后）存在故障回调函数；（vi）𝑃.cu表示操作后回调函数中条件的更新（动作后）。

2024-12-28 22:26:40 156

原创【ss】The Differences of Choice Preference on WeChat Mini Program and Native Apps Between Utilitaria

此外，与当前研究相关的所有变量都是通过一份自我报告的问卷进行测量的，该问卷可能包含参与者的主观偏见，尽管尚未建立。在享乐/功利问卷中，当参与者要玩《快乐房东》或《糖果粉碎传奇》/在携程预订机票或在京东购物时，他们被要求用Hein等人（2008）开发的4项量表表示他们的应用程序偏好类型。享乐产品消费的偏好通常以多感官、情感体验为特征，包括味道、听觉、香气、触觉反馈和视觉刺激等元素，主要倾向于主观描述而非客观描述（Hirschman和Holbrook，1982）。这项研究是在网上对依赖移动设备的网民进行的。

2024-12-22 11:42:12 147

原创【C2C+GRCC】Exploring Disentangled Content Information for Face Forgery Detection

我们观察到检测器可能不再挖掘难以捕获的伪影痕迹，而是过度拟合某些内容信息，从而导致泛化失败，这为人脸伪造检测带来了新的视角。【新视角吧】易于嵌入的内容信息去除解耦框架+内容一致性约束（C2C）+全局表示对比约束（GRCC）注：仅供学习交流。

2024-12-21 23:24:22 120

原创【+LLM】Utilizing Large Language Models to Detect Privacy Leaks in MiniApp CodeUtilizing Large Languag

首先，LLM可能会根据他们所训练的数据表现出偏见，这可能会导致在检测敏感信息时出现不准确或不一致的情况，特别是在微信等主要在中国使用的跨文化环境中。随着时间的推移，新的交流形式、表情符号、俚语和文化参考出现了，这使得LLM很难跟上并准确解释所有内容的变化。此外，onLoad函数旨在在页面加载时执行，可能会处理现有的用户数据，尽管提供的代码段缺少这种完成。JavaScript文件input.js可能收集的敏感信息包括个人数据，如用户的姓名（姓氏和名字）、性别、出生日期、电子邮件地址，以及可能的用户微信ID。

2024-12-21 22:06:35 73

原创【AIS】Constructing Immune-cover for Improving Holistic Security of Spatial Adaptive Steganography

首先，从每个突变集Mutate（Abk(t)）中选择亲和力最高的抗体M(t) = {Abm kopt (t)|k∈[1，S × Ir]}加入新一代群体，保留抗体突变阶段搜索到的最优免疫加工Abm kopt (t)。为了保留优化性能较强的抗体，我们从群体P(t)中选择具有较大Ir亲和力的抗体形成集合IS(t) = {Ab(t)|Ab(t)∈TopAf f (Ir)}，其中Ir为免疫选择率，取值范围为0 ~ 1。Abxi对每个像素协同进行的免疫处理强度决定了抗体Ab的优化性能，从而影响隐写的安全性。

2024-12-11 22:19:37 158

原创【Survey】Deepfake Detection: A Comprehensive Survey from the Reliability Perspective

本文通过定义深度伪造检测研究的三个挑战：可转移性、可解释性和鲁棒性，对面向可靠性的深度伪造检测方法进行了全面的调查。在当前的研究领域尚未实现同时解决可转移性、可解释性和鲁棒性挑战的理想模型。注：仅供学习交流。

2024-12-10 22:17:00 113

原创【FDFL】Discriminative Feature Mining Based on Frequency Information and Metric Learning Face

在我们的单中心损失SCL和softmax损失的共同监督下，网络能够学习一个嵌入空间，其中被操纵的人脸远离中心点，而自然的人脸聚集在中心点周围。虽然增强特征r和q的网络结构相似，但考虑到特征r和特征q的接收野的差异，我们使用了不同大小的卷积核。d)在具有softmax损失的SCL监督下，自然人脸的表示更紧密地聚集在一起，并且与类内紧密度较小的操纵人脸的表示分离。m为控制边距的超参数，D为特征维数。对于不同域的每个特征图，由于FFAGM的数据预处理保留了原始图像的结构信息，因此相同对应位置的特征是相互关联的。

2024-12-04 16:04:40 66

原创【DFTM+DDAFM】Face Forgery Detection Based on Fine-grained Clues and Noise Inconsistency

然而，在人脸伪造检测的背景下，篡改区域往往很小，伪迹信息很微妙，直接应用传统的自关注机制可能会在不经意间关注真实区域而不是伪造区域。这种真实内容的意外聚合可能会掩盖微妙的伪造线索，最终影响检测的准确性。在给出的方程中，D和D - 1表示离散余弦变换（DCT）及其逆，⊙表示点积，σ(x) = {1−exp(−x)}/{1+exp(−x)}将x压缩在−1到1的范围内。在处理表示为X∈R （H×W×3）的输入图像时，首先使用一系列卷积层从图像中提取相关特征，从而生成浅特征F∈R （（H/4）×（W/4）×C）。

2024-11-28 16:04:18 153

空空如也

空空如也