34、生成对抗网络在视频分析与医学图像多模态重建中的应用

生成对抗网络在视频分析与医学图像多模态重建中的应用

1. PoseGAN视频预测技术

PoseGAN是一种由Walker等人开发的视频预测技术，它结合了生成对抗网络（GAN）和变分自编码器（VAE）来生成未来的姿态，从而实现视频预测。该方法直接在像素空间中生成视频，能够对无约束环境下视频的整体结构，包括场景动态进行联合建模。

1.1 视频预测的两个阶段

• 第一阶段 ：处理视频的高级特征，如人类场景，并使用VAE预测人类的未来动作。
• 评估数据集 ：使用UCF101数据集评估PoseGAN架构在预测人类未来姿态方面的性能。

1.2 GAN的优势

优势	描述
无需概率分布模型知识	GAN不需要了解生成器概率分布模型的形状，避免了用特定密度形状表示高复杂度和高密度数据分布的需求。
降低时间复杂度	GAN中生成数据的采样可以并行化，比PixelRNN、Wavenet和PixelCNN更快。在未来帧预测问题中，自回归模型依赖前一帧像素值预测未来帧像素的概率分布，生成速度慢，尤其是对于高维数据。而GAN的生成器使用简单的前馈神经网络策略，能同时创建未来帧的所有像素。
结果准确