26、生成对抗网络：图像动画、场景生成与组织病理学染色应用

生成对抗网络：图像动画、场景生成与组织病理学染色应用

1. 图像动画与场景生成

在计算机图形和视觉领域，动画被定义为生成动态图像的能力，也被称为计算机生成图像，通常包含 3D 计算机图形。早期的工作使用深度学习和 GAN 进行深度运动迁移。为了解决动画中的一些限制，如需要预训练模型进行目标检测、真实数据可用性、动画任何类型的对象以及从一个领域到另一个领域的视频翻译等问题，引入了一个三模块框架。
- 三模块框架 ：
1. 第一模块 ：以无监督的方式提取对象关键点。
2. 第二模块 ：从关键点生成运动热图，以编码运动信息。
3. 第三模块 ：结合热图和源图像的外观，生成短视频。
- Monkey - Net 架构 ：该架构采用名为 Monkey - Net 的自学习方案。使用 UvA - Nemo、Tai - Chai 和 BAIR 数据集进行实验，评估指标包括平均关键点距离（AKD）、缺失关键点距离（MKD）、平均欧几里得距离（AED）和 FID。与 X2face 方法相比，结果表现更优。
- 图像到视频翻译 ：使用 Amazon Mechanical Turk（MTurk）进行定性评估。向用户展示三个视频：驱动视频以及使用 X2face 和 Monkey 方法生成的两个视频。超过 80% 的情况下，用户更喜欢 Monkey 生成的视频。
- Monkey - Net 的改进 ：Monkey