jessIoss-优快云博客

原创【UIAVIT】UIA-ViT:Unsupervised Inconsistency-Aware Method based on VisionTransformer for Face ForgeryD

为了确定哪一层是进行伪造位置预测的MVG估计的最佳选择，我们训练了基线ViT-Base模型，并从不同的中间层提取补丁嵌入，以更新相应的MVG分布。为了保证来自我们网络的这种补丁嵌入捕获更多的局部纹理信息而不是高级语义信息，我们执行了如图5所示的几种可视化，最后利用UIA-ViT网络Block6（即K=6）的补丁嵌入FP来近似估计伪造位置图。我们选择不同的查询位置，并用所有补丁嵌入的关键字显示它们的注意力图。表示位置（i，j）的嵌入与位置（k，l）的其他补丁嵌入之间的一致性，值越高表示两个位置的一致性越高。

2025-03-26 11:41:57 11

原创【LRN】Improving the Efficiency and Robustness of DeepfakesDetection through Precise GeometricFeatures

在分类过程中，我们的双流网络中的每个RNN都是双向的，由GRU（门控循环单元）组成，其输出单元的数量设置为k=64。我们可以从结果中得出结论，我们的方法对视频压缩的性能相对更稳定。给定来自以xi=[x，y]T为中心的帧i的小图像补丁Pi，其中来自帧i+1的另一个相同大小的补丁Pi+1，我们试图找到位移向量d=[dx，dy]T以最小化Pi和Pi+1之间的差异，然后我们可以获得跟踪预测xi+1=xi+d。原因在于，由校准的地标训练的模型可以更好地捕捉异常的面部运动，而不是地标检测器带来的噪声。

2025-03-17 11:21:06 17

原创【Diffswap】Diffswap: Highfidelity and controllable face swapping via 3d-aware masked diffusion

我们证明我们的方法可以产生高保真的人脸交换结果，特别是在人脸形状和局部特征（眼睛，鼻子，嘴巴）上。3D人脸重建结果由描述形状，表情，姿态，纹理等的几个参数组成，这样我们就可以简单地将重建的目标人脸的形状替换为源人脸的形状，然后使用交换后的参数重建一个新的人脸，并获得相应的2D人脸标志点Lswqp，该标志点可以进一步输入我们的人脸交换模型。我们的框架在设计上是高度可控的，因为我们可以在推理过程中改变掩码M和条件输入C swap，因此，我们可以对M或C swap进行仔细的设计，以产生更可信的人脸交换结果。

2025-03-14 19:45:34 15

原创【Diffusion】DiffusionFake: Enhancing Generalization in Deepfake Detection via Guided Stable Diffusion

这种预训练良好的模型可以有效地捕捉和量化图像之间的差异，为测量输入图像与其相应的源图像和目标图像之间的相似性提供可靠的依据。通过使用相应的特征指导源图像和目标图像的重建，引导模块有助于学习丰富和有区别的表示，从而提高伪造检测器在各种域和攻击类型中的性能。在每个时间步长t，模型学习预测添加到源或目标图像的潜在表示中的噪声。对于与目标更相似的样本，如NeuralTextures和Face2Face，由于它们包含的目标特征比例很高，相应的目标分数较高（大于0.95），而源分数较低，因为源特征的存在有限。

2025-03-12 11:19:40 26 1

原创【CSR-Net】CatmullRom Splines-Based Regression for Image Forgery Localization

为IFL精心设计了一个定制的基于CatmullRom样条的回归网络（CSR Net），该网络首次尝试将回归方法引入像素级（本文中的IFL）。与依赖于边界框的传统检测方法相比，我们首先引入了CatmullRom拟合技术，该技术对目标区域中的控制点进行轮廓建模，从而实现了更准确、更高效的篡改区域定位。然后，为了抑制FP，设计了一种综合重新评分算法（CRA），利用分类评分和实例评分对精确的篡改区域进行过滤。此外，我们提出了一个名为垂直纹理交互感知（VTP）的可学习区域纹理提取模块，以进一步细化边缘。

2025-03-08 10:57:56 30

原创【DF】Double Face: Leveraging User Intelligence to Characterize and Recognize AI-synthesized Faces

RQ1.人工智能合成的人脸图像是否包含用户通常感知到的伪影？【精确率】RQ2.人工智能合成的人脸图像中，合成伪影位于哪里？【伪影定位】RQ3.人工智能合成图像中感知到的伪影区域表现出哪些模式？【伪影模式】RQ4.如何使用用户感知来促进检测人工智能生成的人脸图像？【检测增强】开发了一种新方法，利用众包注释来系统地表征和识别人工智能合成的人脸图像。设计了一个用户研究来聚合和表征由多个用户（而不是单个研究人员或自动化系统）注释的AI合成伪影。

2025-03-03 17:15:31 16

原创【ADD】ADD: Frequency Attention and Multi-View Based Knowledge Distillation to Detect Low-Quality Comp

ADD：在KD框架下探索频率注意提取和多视图注意提取来检测高度压缩的深度伪造。频率注意力帮助学生从老师那里获取并更多地关注高频成分。【KD】受切片沃瑟斯坦距离（Sliced Wasserstein distance）启发的多视角注意力，将学生的输出张量分布推向教师的输出张量分布，保持多个视角（切片）张量元素之间的相关像素特征。注：仅供学习交流。

2025-02-26 17:18:32 12

原创【MS】MiniScope: Automated UI Exploration and Privacy Inconsistency Detection of MiniApps via Two-phas

本文介绍了一种使用混合分析来检测隐私不一致的工具。MiniScope利用静态分析为动态测试提供高级指导，并使用隐私策略交叉验证运行时行为。评估显示，MiniScope识别隐私实践的平均准确率、召回率和F1得分分别为99.2%、95.6%和97.4%。我们的大规模研究揭示了MiniApp生态系统中的隐私不一致问题，在127,460微信个MiniApp中，只有10,786个提供了有效的隐私政策，而2,282个（21.2%）显示了各种隐私侵犯。

2025-02-22 16:36:08 30

原创【FST】Explaining Deepfake Detection by Analysing Image Matching

Q>0表示学习到的与伪影相关的视觉概念与源/目标无关的视觉概念的关系比源/目标相关的视觉观念更密切。设h（·）表示最终预测模块。如图4所示，在配对训练集上训练的模型具有较大的Qτ值，表明训练集中的FST匹配有效地帮助模型定位源/目标无关的视觉概念，并将其视为伪影相关。令人惊讶的是，如图2和表11所示，与隐式学习的伪影视觉概念相比，这种学习的视觉概念与视频压缩具有很高的一致性。具体来说，由于压缩，隐式学习的伪影视觉概念可能与压缩的源视觉概念和假图像上的目标视觉概念无法区分，导致深度假检测模型做出错误的预测。

2025-01-07 23:12:21 232 1

原创【MC】MiniChecker: Detecting Data Privacy Risk of Abusive Permission Request Behavior in Mini-Programs

根据三个阶段观察到的不同特征，可以定义各种滥用权限请求行为的特征和模式。我们使用以下符号：（i） 𝑃表示特定权限请求行为的调用（在操作期间）；（ii）𝑃.𝑙𝑜x表示请求在页面文件中的位置；（iii）𝑃.info表示请求收集的用户信息类型（分类见表1）；（iv）𝑃.ce表示动作前存在条件分支（预动作）；（v） 𝑃.fcbe指动作后（动作后）存在故障回调函数；（vi）𝑃.cu表示操作后回调函数中条件的更新（动作后）。

2024-12-28 22:26:40 71

原创【ss】The Differences of Choice Preference on WeChat Mini Program and Native Apps Between Utilitaria

此外，与当前研究相关的所有变量都是通过一份自我报告的问卷进行测量的，该问卷可能包含参与者的主观偏见，尽管尚未建立。在享乐/功利问卷中，当参与者要玩《快乐房东》或《糖果粉碎传奇》/在携程预订机票或在京东购物时，他们被要求用Hein等人（2008）开发的4项量表表示他们的应用程序偏好类型。享乐产品消费的偏好通常以多感官、情感体验为特征，包括味道、听觉、香气、触觉反馈和视觉刺激等元素，主要倾向于主观描述而非客观描述（Hirschman和Holbrook，1982）。这项研究是在网上对依赖移动设备的网民进行的。

2024-12-22 11:42:12 46

原创【C2C+GRCC】Exploring Disentangled Content Information for Face Forgery Detection

我们观察到检测器可能不再挖掘难以捕获的伪影痕迹，而是过度拟合某些内容信息，从而导致泛化失败，这为人脸伪造检测带来了新的视角。【新视角吧】易于嵌入的内容信息去除解耦框架+内容一致性约束（C2C）+全局表示对比约束（GRCC）注：仅供学习交流。

2024-12-21 23:24:22 84

原创【+LLM】Utilizing Large Language Models to Detect Privacy Leaks in MiniApp CodeUtilizing Large Languag

首先，LLM可能会根据他们所训练的数据表现出偏见，这可能会导致在检测敏感信息时出现不准确或不一致的情况，特别是在微信等主要在中国使用的跨文化环境中。随着时间的推移，新的交流形式、表情符号、俚语和文化参考出现了，这使得LLM很难跟上并准确解释所有内容的变化。此外，onLoad函数旨在在页面加载时执行，可能会处理现有的用户数据，尽管提供的代码段缺少这种完成。JavaScript文件input.js可能收集的敏感信息包括个人数据，如用户的姓名（姓氏和名字）、性别、出生日期、电子邮件地址，以及可能的用户微信ID。

2024-12-21 22:06:35 23

原创【AIS】Constructing Immune-cover for Improving Holistic Security of Spatial Adaptive Steganography

首先，从每个突变集Mutate（Abk(t)）中选择亲和力最高的抗体M(t) = {Abm kopt (t)|k∈[1，S × Ir]}加入新一代群体，保留抗体突变阶段搜索到的最优免疫加工Abm kopt (t)。为了保留优化性能较强的抗体，我们从群体P(t)中选择具有较大Ir亲和力的抗体形成集合IS(t) = {Ab(t)|Ab(t)∈TopAf f (Ir)}，其中Ir为免疫选择率，取值范围为0 ~ 1。Abxi对每个像素协同进行的免疫处理强度决定了抗体Ab的优化性能，从而影响隐写的安全性。

2024-12-11 22:19:37 105

原创【Survey】Deepfake Detection: A Comprehensive Survey from the Reliability Perspective

本文通过定义深度伪造检测研究的三个挑战：可转移性、可解释性和鲁棒性，对面向可靠性的深度伪造检测方法进行了全面的调查。在当前的研究领域尚未实现同时解决可转移性、可解释性和鲁棒性挑战的理想模型。注：仅供学习交流。

2024-12-10 22:17:00 62

原创【FDFL】Discriminative Feature Mining Based on Frequency Information and Metric Learning Face

在我们的单中心损失SCL和softmax损失的共同监督下，网络能够学习一个嵌入空间，其中被操纵的人脸远离中心点，而自然的人脸聚集在中心点周围。虽然增强特征r和q的网络结构相似，但考虑到特征r和特征q的接收野的差异，我们使用了不同大小的卷积核。d)在具有softmax损失的SCL监督下，自然人脸的表示更紧密地聚集在一起，并且与类内紧密度较小的操纵人脸的表示分离。m为控制边距的超参数，D为特征维数。对于不同域的每个特征图，由于FFAGM的数据预处理保留了原始图像的结构信息，因此相同对应位置的特征是相互关联的。

2024-12-04 16:04:40 33

原创【DFTM+DDAFM】Face Forgery Detection Based on Fine-grained Clues and Noise Inconsistency

然而，在人脸伪造检测的背景下，篡改区域往往很小，伪迹信息很微妙，直接应用传统的自关注机制可能会在不经意间关注真实区域而不是伪造区域。这种真实内容的意外聚合可能会掩盖微妙的伪造线索，最终影响检测的准确性。在给出的方程中，D和D - 1表示离散余弦变换（DCT）及其逆，⊙表示点积，σ(x) = {1−exp(−x)}/{1+exp(−x)}将x压缩在−1到1的范围内。在处理表示为X∈R （H×W×3）的输入图像时，首先使用一系列卷积层从图像中提取相关特征，从而生成浅特征F∈R （（H/4）×（W/4）×C）。

2024-11-28 16:04:18 110

原创【FaceSigns】 Semi-Fragile Neural Watermarks for Media Authentication and Countering Deepfakes

一种基于深度学习的半脆弱水印系统，该系统可以证明数字图像的完整性并可靠地检测面部篡改。通过在训练过程中精心设计一组固定的可微分的良性和恶意转换，我们的框架实现了对现实世界图像转换的泛化性。注：仅供学习交流。

2024-11-20 10:50:23 50

原创【FF++】FaceForensics++: Learning to Detect Manipulated Facial Images

低质量视频的挑战性案例也可以通过基于学习的方法来解决，在这种情况下，人类和手工制作的特征表现出困难。为了使用特定领域的知识来训练检测器，我们引入了一个新的被操纵面部视频数据集。聚焦于压缩的影响于最先进的操作方法的可检测性，为后续工作提出标准化基准。随着新的操纵方法日益出现，必须开发出能够在几乎没有训练数据的情况下检测出假货的方法。我们的数据库已经用于取证迁移学习任务，其中一个源操作领域的知识被转移到另一个目标领域，如Cozzolino等人[17]所示。注：仅供学习交流。

2024-11-11 22:19:40 286

原创【EfficientNetB4】Video Face Manipulation Detection Through Ensemble of CNNs

解决了视频序列中面部操作的检测，目标是经典的计算机图形学以及深度学习生成的假视频。提出的方法从EfficientNet模型家族中获得灵感，并对最近提出的解决方案进行了改进，研究了使用两个主要概念训练的模型集合：(i)注意机制，该机制生成人类可理解的模型推理，同时提高了网络的学习能力；(ii)三连体训练策略，从数据中提取深层特征以获得更好的分类性能。未来的工作将致力于时间信息的嵌入。注：仅供学习交流。

2024-11-06 15:46:26 137

原创【Keyframes】Deep Convolutional Pooling Transformer for Deepfake Detection

提出了一种新的深度卷积变压器，使用卷积池和重新注意技术来进行深度伪造检测中的局部和全局面部特征学习。证明了很少讨论的图像关键帧在图像特征学习中的重要性。普通的视频压缩会导致图像帧的信息丢失。【深入探索图像关键帧，研究局部和全局的决定性特征和关系，有助于进一步提高Deepfake检测的性能。

2024-11-04 14:17:56 76

原创【Multi-modal】Experimental Results on Multi-modal Deepfake Detection

探索了通过分数级融合技术在SOTA的三种代表性方法上利用不同模型的互补性的可能性。注：仅供学习交流。

2024-11-01 15:45:39 78

原创【IP+CNN】A Steganography Immunoprocessing Framework Against CNN-Based and Handcrafted Steganalysis

图像隐写术旨在隐藏封面图像中的信息而不会引起隐写分析的怀疑。在隐写术中引入STC (Syndrome-Trellis Codes)[1]和SPC (Steganographic Polar Codes)[2]，可以使用失真最小化策略设计自适应隐写方案，以最少可检测到的伪影修改图像元素。与隐写术相反，隐写分析试图检测信息的存在，通过搜索嵌入过程中引入的伪影来获取隐写图像内的秘密信息[3]，[4]。图像隐写的核心目标是实现对隐写分析器的高对抗性能。

2024-10-31 14:46:55 89

原创【ODSS】An Open Dataset of Synthetic Speech

考虑到数据保护和预处理要求，以及模型训练需要的先决条件，公共真实语言数据集是最合适的数据源。该数据集的主要缺点是生成的数据没有与真正的对应数据配对，并且在作者使用的参考数据集中找不到与合成声音对应的原始声音。生成的数据集是通过整理收集到的录音来构建的，这些录音经过规范化处理，例如，通过删除前导和尾音，对齐转录本，并调整音量。是由156个声音生成的合成语音，跨越三种语言，即英语、德语和西班牙语，具有平衡的性别代表性。为了解决数据短缺的问题，许多独立的研究机构基于志愿者的带注释的语音记录创建了多个语料库。

2024-10-22 21:22:10 122

原创【SBIs】Detecting Deepfakes with Self-Blended Images

设I的高和宽分别为H和W。我们将调整后的图像的高度Hr和宽度Wr定义为Hr = uhH和Wr = uwW，其中uh和uw分别从[umin， umax]范围内的连续均匀分布U[umin， umax]中独立采样。其次，由于引入这些方法是为了学习面向表示，即BI中的混合边界和I2G中的源特征一致性，因此用于鲁棒深度伪造检测的学习的工件可能仅用于混合图像中的伪影是不够的。为了可视化模型在锻造面上的注意力，我们将GradCAM++[12]应用于FF++的操纵帧上的模型，即DF， F2F， FS和NT，如图5所示。

2024-10-22 10:34:42 188

原创【AV-Deepfake1M】AV-Deepfake1M: A Large-Scale LLM-Driven Audio-Visual Deepfake Dataset

使用Whisper进行语音识别花费了约600 GPU小时[48]，训练VITS花费了约2100 GPU小时[33]（721个VITS模型中的每个模型都需要约3小时），数据生成花费了约300 GPU小时。先前数据集[6,31]使用的SV2TTS[27]等零镜头语音克隆方法信噪比低，导致低质量的音频操作，容易被BA-TFD[4]和UMMAFormer[75]定位。对来自Voxceleb2[14]数据集的真实视频子集进行预处理，使用FFmpeg[58]提取音频，然后使用基于whisper[48]的真实文本生成。

2024-10-20 23:09:28 171

原创【HAD】Half-Truth: A Partially Fake Audio Detection Dataset

它包括来自218名中国普通话母语者（175名女性，43名男性）的88035个话语，约85小时的录音。CQCC特征包括29个附加能量的CQCC系数（C0或0倒谱系数）和7种不同的静态、增量和加速度参数组合。与基于LCNN的话语级LCNN分类器相比，基于LCNN的帧级判别器的架构只是没有池化层。这些指标基于每个片段的持续时间。数据包含不同的区域口音：南方口音（southern），北方口音（northern）和其他口音（other）。实体有四种：人（PER）、地点（LOC）、组织（ORG）和时间（time）。

2024-10-19 16:28:07 241

原创【DDT】Generalized Zero and Few-Shot Transfer for Facial Forgery Detection

为了将每个类建模为一个分布，我们学习了一个具有非重叠均值的多模态高斯分布，这强制每个分量εc在其自己的空间中充当单模态分布。通过学习一个单一的多模态分布，我们得到了许多单模态分布εc，每一个都代表一个特定的类c，我们称之为原型多模态分布。对于二元分类情况，该模型学习将每个数据点投影到潜在空间z，其中每个数据点仅映射到双峰分布N (m0，I)为真和N (m1，I)为假，每个组件将代表一个类。对于目标域T，将少数可用的训练样本与之前用于学习源域S的相同原型分布关联起来，根据它的类标签。Σi)在这个嵌入空间。

2024-10-18 09:14:10 72

原创【可看】On the Generalization of GAN Image Forensics

网络的输入是真实图像和假图像，图像大小为128x128。该网络是一个二值分类器，有四个卷积层，所有卷积步幅为2，填充为1，所有卷积核大小为4x4。通过对真假图像进行相似的图像级预处理，破坏不稳定的低电平噪声线索，迫使取证模型学习更多的内在特征来对生成的和真实的人脸图像进行分类。图像预处理操作位于整个网络架构的前面，其中图像预处理操作可以是平滑滤波或添加噪声。，从而迫使取证分类器学习更多内在和有意义的特征，而不是生成模型的风格。方法的网络架构使用一个简单的DCGAN[17]网络的鉴别器网络。

2024-10-17 09:33:21 205

原创【IRV2】Deepfake video detection using InceptionResnetV2

这项工作旨在确定通过迁移学习设计的深度学习模型如何有效地准确区分人工智能生成的深度伪造视频和摄像机捕获的真实视频。【基于迁移学习的DL模型的性能如何】使用了InceptionResNet-V2迁移学习模型注：仅供学习交流。

2024-10-16 22:20:02 119

原创【E+CC ViT】Combining EfficientNet and Vision Transformers for Video Deepfake Detection

使用预训练的权重初始化Efficientnet B0特征提取器，并对其进行微调，以允许网络的最后一层为这个特定的下游任务执行更一致和合适的提取。与它们不同的是，我们提取的面总是正方形的，没有填充。本文提出的两个体系结构以一种监督的方式进行训练，以区分真实的和真实的伪造案例。训练集包括FaceForensics++的所有考虑方法的假视频和DFDC数据集的训练视频，用于计算模型的准确性度量，分别报告。卷积交叉ViT使用两个不同的分支：s分支处理较小的斑块，l分支处理较大的斑块，以获得更宽的接受域。

2024-10-15 22:53:28 69

原创【M2TR】M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection

提出【M2TR】，使用多尺度变压器捕获多尺度下细微的局部不一致性并使用频率滤波器提高对图像压缩的鲁棒性。通过交叉模态融合块自适应融合两流伪造特征。提出一个数据集SR-DF并分析评价注：仅供学习交流。

2024-10-11 19:57:52 246

原创【DFDT】DFDT: An End-to-End DeepFake Detection Framework Using Vision Transformer

在重叠斑块提取方法中，每个给定的分辨率为(H, W)和C通道的图像I∈RH×W×C，被分割成N个分辨率为(P, P)和C通道的图像，Ip∈RP×P×C，使用步长S的滑动窗口。每个相邻的斑块共享一个面积为P× (P−S)的区域。不同的深度伪造生成技术在伪造过程中针对面部区域的不同比例和区域，从嘴唇的颜色不匹配等小区域到整个图像的较大区域，如面部交换方法中的面部边界。低级的transformer块从大量的小尺寸提取的斑块中学习，而高级的transformer块从更大的图像斑块中学习更多的全局特征。

2024-10-08 09:52:09 92

原创【MaskGAN】MaskGAN: Towards Diverse and Interactive Facial Image Manipulation

关键观点是，语义掩码作为一种合适的中间表示，用于具有保真度的灵活面部操作。MaskGAN在两个具有挑战性的任务上进行了综合评估:属性转移和样式复制。注：仅供学习交流。

2024-10-06 17:09:29 261

原创【Cross-Forgery】Cross-Forgery Analysis of Vision Transformers and CNNs for Deepfake Image Detection

这种情况下，两种模型在未处理的图像上的性能都明显下降。这可能源于这样一个事实，即这种特定的方法特别有效，并且比数据集中存在的其他方法引入的异常更少，从而使真实图像和操纵图像之间的差异更加细微。在几乎所有情况下，EfficientNet在训练方法上都达到了更高的精度水平，这可能是因为它已经学会了更好地识别这些方法中引入的特定异常，所有包含不同异常的图像都被认为是非深度假的。该模型是在真实图像和使用单一deepfake生成方法处理的图像上训练的，将deepfake的概念推广到识别被其他方法篡改的图像的程度。

2024-10-03 17:04:04 70

空空如也

空空如也