51、深度伪造生成与检测及基于相似度的推荐系统

深度伪造生成与检测及基于相似度的推荐系统

1. 深度伪造检测的相关工作

深度伪造技术被用于不道德活动，恶意诋毁他人形象，同时虚假视频传播的虚假信息也让公众深受其害。因此，减少这些虚假视频的传播至关重要。

在相关工作方面，有多种方法被提出用于深度伪造检测：
- 网络架构检测 ：有研究提供了两种网络架构，能有效准确地检测伪造，在实际扩散条件下，对Face2Face视频平均检测率达95%，对深度伪造视频达98%。
- 压缩影响研究 ：有工作关注压缩对最先进的面部图像操纵方法可检测性的影响，并提出标准化基准。
- 分类器比较 ：对比了ML分类器方法XGBoost和DNN方法，发现DNN在精度、召回率和准确性上更优。
- 深度学习改进 ：有尝试改进现有DL方法，在DF - TIMIT数据集上准确率达96.6%，在DFDC数据集上达84.4%。
- 大样本数据集检测 ：一种适用于大样本数据集的方法在CelebDf数据集上准确率达94.21%，但不适用于有假音频的视频。
- 算法比较研究 ：有研究比较了当时的现有算法，以了解DL在深度伪造检测中的效果。
- 基于特征不匹配检测 ：有方法基于不同面部区域方向的不匹配来暴露深度伪造，还有算法在这方面的成功检测率超90.5%。
- 集成学习检测 ：Deep fakeStack深度集成学习技术用于检测被操纵的电影，检测深度伪造的准确率达99.65%，AUROC分数为1.0。
- 时间感知系统检测 ：提出时间感知系统来检测假视频，能自动判断视频是否被操纵。
- 深度学习检测 ：有基于深度学习的深度伪造发现方法，提取图像特征用于判断深度伪造，其中CNN和LSTM在检测中被证明较为准确。

通用概述

实验结果表明，视听方法无法检测使用GAN生成的面部交换，只有基于图像的方法对检测深度伪造视频有效。目前只有IQM + SVM系统的等错误率（EER）约为8.9%，其他方法的EER高达40%，这意味着需要更先进的技术。同时，现有模型推理时间长，需要更小的模型；高质量深度伪造数据及原始数据的正确分类缺乏，难以训练监督模型；现有系统与高科技检测技术不兼容，且不同学习者或分类器的性能差异主要在于模型大小，如Deepfake Stack模型过大易导致过拟合。

2. 提出的方法

2.1 样本数据集

使用FaceForensics ++ 法医数据库，包含前1000个视频序列，用于四种面部对抗模式：Deepfakes、Face2Face、FaceSwap和NeuralTextures。数据来自977个YouTube视频，所有视频包含无锁定的面对面跟踪，便于自动干扰方法产生真实效果。

2.2 方法架构

• 高层架构 ：整体系统概述，获取真实和虚假图像，用生成器生成虚假图像，再用判别器区分真假图像。
• 低层架构 ：更详细的系统设计，步骤如下：
  1. 选取数据集（face forensics）。
  2. 对数据集进行预处理。
  3. 构建模型，模型初始状态存储在pickle文件中。
  4. 有网络文件夹，使用CNN和LSTM进行主要工作和检测，涉及xception和models.py。
  5. 最后使用CNN进行测试并输出结果。

graph LR
    A[选取数据集] --> B[预处理]
    B --> C[构建模型]
    C --> D[存储初始状态]
    D --> E[网络工作]
    E --> F[测试输出]

2.3 一阶运动

整个过程分为运动提取和生成两部分：
1. 运动提取 ：以源图像和驱动视频为输入，运动提取器使用自动编码器获取关键点，提供结合较少关键点和相应局部变化的一阶运动表示。
2. 运动生成 ：结合驱动视频，用动态移动网络生成动态视觉流和闭合图，再通过生成器结合密集运动网络的输出和源图像得到目标图像。

2.4 长短期记忆网络（LSTM）

LSTM的常见架构包括输入门、遗忘门和输出门。细胞状态是长期记忆，存储先前间隔的值。输入门负责选择进入细胞状态的值，遗忘门通过应用范围在[0, 1]的Sigmoid函数决定遗忘的信息，输出门决定当前时间哪些信息在下一阶段被考虑。

2.5 流程图

整个算法的流程图展示了从数据输入到最终输出的过程。

graph LR
    A[数据集] --> B[导入代码]
    B --> C[数据集处理模块]
    C --> D[网络模块]
    D --> E[预模块]
    E --> F[检测模块]
    F --> G[训练测试]
    G --> H[输出相似度分数]

2.6 算法解释

模型的整个算法分为两个模块：
- 深度伪造生成 ：暂未详细说明具体生成方式。
- 深度伪造检测 ：使用自制的基于CNN和LSTM的模型。具体步骤如下：
1. 导入数据集到代码中，数据集由数据集处理模块管理。
2. 网络模块是算法的主要工作部分，CNN实现在Xception.py中，LSTM实现在Models.py中，最终模型通过mesonet执行，涉及xception和model。
3. 预模块包含pickle文件，保存模型训练后的状态，避免重复训练。
4. 检测模块整合所有网络和模型。
5. 进行训练和测试，对数据集中的每一帧进行深度伪造检测后生成相似度分数。

3. 结果与结论

通过分析每秒30帧来判断视频真假，设定丢弃值为0.5，相似度分数低于0.5为假视频，高于0.5为真视频。Xception模型的评估指标如下表所示：
| Xception | 精度 | 召回率 | F1 - 分数 | 支持度 |
| ---- | ---- | ---- | ---- | ---- |
| 0 (FAKE) | 0.98 | 0.99 | 0.98 | 712 |
| 1 (REAL) | 0.97 | 0.91 | 0.94 | 185 |
| 准确率 | 0.98 | - | - | 897 |
| 宏平均 | 0.97 | 0.95 | 0.96 | 897 |
| 加权平均 | 0.98 | 0.98 | 0.98 | 897 |

该方法利用源特征的标志来识别深度伪造图片，基于源特征明显的图像在经过先进的深度伪造生成过程后可被保护和去除的理论。提出的成对自一致性学习（PCL）方法用于训练卷积网络分离源特征和区分虚假图片，结合不规则图片生成器（I2G）为PCL提供清晰的训练信息。在七个知名数据集上的实验结果显示，模型在数据集内评估中AUC的中间值从96.45%提高到98.05%，在跨数据集评估中从86.03提高到92.18%。

本研究引入基于CNN的程序自动检测假视频，实验表明使用简单的LSTM格式能在2秒视频数据内准确预测视频是否被伪造。该工作为检测使用相关工具创建的虚假媒体提供了强大的第一道防线，同时展示了简单管道设计可取得有竞争力的结果，还能判断视频下部是否被中断。

4. 未来工作

• 视频生成与检测结合 ：将视频生成与检测部分结合，直接利用生成的视频。
• 提高实现速度 ：通过修改代码和引入更多方法来提高实现速度。
• 开发用户友好平台 ：开发集成模型的用户友好平台，方便国家犯罪部门检测深度伪造。

5. 基于相似度的推荐系统

在当今的消费应用中，推荐系统无处不在，如Netflix的电影推荐和Tinder的约会推荐。但常用的推荐技术需要大量数据，在数据不足的情况下难以应用。因此，需要能在少量数据下提供实用推荐的系统。

研究发现，具有相似属性的人可能有相似的品味，可使用聚类将具有相似属性的人分组。但由于新用户不断加入应用的用户群，聚类应在线进行。本文提出基于相似度的推荐方法，使用在线聚类技术形成具有相似属性的人群聚类。在线意味着动态数据，重新聚类需要重新计算系统中所有点的聚类，计算成本高，而该方法进行选择性重新聚类，可实现更快的推荐并减轻服务器负载。具体步骤如下：
1. 数据收集 ：收集用户的属性数据。
2. 初始聚类 ：使用K - Medoids聚类算法对现有用户进行初始聚类。
3. 新用户加入 ：当新用户加入时，计算其与各聚类中心的相似度。
4. 选择性重新聚类 ：如果新用户与某个聚类的相似度高，则将其加入该聚类；如果相似度都低，则考虑是否需要重新聚类部分数据。
5. 推荐生成 ：根据用户所在聚类的偏好为用户生成推荐。

graph LR
    A[数据收集] --> B[初始聚类]
    B --> C[新用户加入]
    C --> D{相似度判断}
    D -- 相似度高 --> E[加入聚类]
    D -- 相似度低 --> F[选择性重新聚类]
    E --> G[推荐生成]
    F --> G

这种基于相似度的推荐系统为解决数据不足情况下的推荐问题提供了一种有效的方法，通过选择性重新聚类提高了效率和推荐的准确性。

深度伪造生成与检测及基于相似度的推荐系统

6. 深度伪造检测方法的优势与挑战

深度伪造检测方法在保障信息真实性和个人形象安全方面具有重要意义，但也面临着一些挑战。

6.1 优势

• 高精度检测 ：部分方法在特定数据集上取得了较高的检测准确率，如某些网络架构对Face2Face视频平均检测率达95%，对深度伪造视频达98%；本文提出的方法在多个数据集上也有较好的表现，Xception模型的准确率达到了0.98。
• 智能学习机制 ：采用成对自一致性学习（PCL）和不规则图片生成器（I2G）等方法，能够有效训练卷积网络，分离源特征并区分虚假图片，提高检测的准确性。
• 实时性检测 ：基于CNN和LSTM的模型能够在较短时间内对视频帧进行检测，如使用简单的LSTM格式能在2秒视频数据内准确预测视频是否被伪造，为快速识别虚假媒体提供了可能。

6.2 挑战

• 技术局限性 ：视听方法无法检测使用GAN生成的面部交换，只有图像-based方法有效，但现有图像检测方法仍存在等错误率较高的问题，如部分方法的EER高达40%，需要更先进的技术来提高检测效果。
• 数据问题 ：高质量深度伪造数据及原始数据的正确分类缺乏，难以训练监督模型；同时，不同学习者或分类器的性能差异主要在于模型大小，大模型容易导致过拟合，而小模型的开发还需要进一步探索。
• 计算资源需求 ：一些检测模型推理时间长，需要大量的计算资源，如需要高级图形卡、高内存和支持机器学习包的接口，这限制了其在一些设备上的应用。

7. 基于相似度推荐系统的应用场景与效果

基于相似度的推荐系统在多个领域具有广泛的应用场景，并且能够取得较好的推荐效果。

7.1 应用场景

• 电商平台 ：根据用户的浏览历史、购买记录等属性数据，将用户聚类，为用户推荐相似用户喜欢的商品，提高用户的购买转化率。
• 社交平台 ：为用户推荐可能感兴趣的朋友、群组或内容，增加用户的社交互动和平台粘性。
• 媒体平台 ：如音乐、视频平台，根据用户的音乐偏好、观看记录等，为用户推荐相似风格的音乐或视频，提升用户的体验。

7.2 效果评估

通过选择性重新聚类，该推荐系统能够在少量数据的情况下实现更快的推荐，并减轻服务器负载。具体效果可以通过以下指标评估：
| 指标 | 含义 | 评估方式 |
| ---- | ---- | ---- |
| 推荐准确率 | 推荐的内容与用户实际偏好的匹配程度 | 计算推荐内容被用户接受的比例 |
| 召回率 | 系统能够推荐出用户感兴趣内容的能力 | 计算用户感兴趣内容被推荐出的比例 |
| 覆盖率 | 系统能够覆盖的用户兴趣范围 | 计算推荐内容涵盖的不同兴趣类别数量 |

8. 两种技术的结合展望

深度伪造检测技术和基于相似度的推荐系统看似是两个不同的领域，但在某些方面可以进行结合，以实现更强大的功能。

8.1 安全推荐

在推荐系统中，可能会出现虚假内容的推荐，如虚假的商品评价、虚假的新闻推荐等。深度伪造检测技术可以用于对推荐内容进行检测，确保推荐的内容是真实可靠的，提高推荐系统的安全性和可信度。

8.2 个性化检测

基于相似度的推荐系统可以根据用户的偏好和行为，为用户提供个性化的深度伪造检测服务。例如，对于关注政治新闻的用户，系统可以重点检测政治相关的深度伪造视频；对于关注娱乐新闻的用户，系统可以重点检测娱乐相关的深度伪造图片。

9. 总结

深度伪造检测技术和基于相似度的推荐系统都是当前科技领域的重要研究方向。深度伪造检测技术在应对虚假信息传播方面具有重要作用，但面临着技术、数据和计算资源等方面的挑战；基于相似度的推荐系统能够在少量数据下提供实用的推荐，通过选择性重新聚类提高了效率和准确性。未来，将这两种技术结合起来，有望实现更安全、更个性化的服务。

通过不断的研究和改进，我们相信深度伪造检测技术和基于相似度的推荐系统将在保障信息安全和提升用户体验方面发挥更大的作用。同时，我们也期待更多的创新技术和方法的出现，为解决这些领域的问题提供更好的解决方案。