GAN与生成视频:PaddleGAN,videogan,DVD-GAN

FakeOccupational

于 2021-10-03 20:41:18 发布

阅读量2.2k

点赞数

CC 4.0 BY-SA版权

分类专栏：深度学习文章标签：深度学习自动驾驶

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/ResumeProject/article/details/120596866

深度学习专栏收录该内容

175 篇文章

订阅专栏

当前，深度学习模型如BigGAN和StyleGAN已能生成高分辨率的静态图像，但生成连贯视频仍具挑战。PaddleGAN开源的表情动作迁移算法实现了这一目标，通过分离前景和背景生成，并利用3D TransposeConv建模，生成逼真的视频效果。DVD-GAN则是一个用于生成怪异视频的工具，其生成器和判别器的设计旨在捕捉时空信息。这些技术为视频生成领域带来了新的突破。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

目前 BigGAN 或 StyleGAN 等深度生成模型已经能生成极其逼真的图像，而且这种图像还是高分辨率的，种类也非常丰富。然而生成自然连贯的视频仍然是极具挑战的领域，它要求更复杂的数据与更多的计算力。

PaddleGAN开源表情动作迁移算法（一张源图片和一个驱动视频）

在这里插入图片描述

videogan：可视化了前景和背景生成的信息

连接
在 Generator 中具体使用的网络结构如图所示。网络将前景和背景分开生成，随后通过一个Mask 加权将前景和背景结合。下路网络使用2D的 Transpose Conv 来建模背景，上路使用3D的Transpose Conv来建模前景和 Mask，3D卷积能够同时提取时序和空间的信息，其作用相当于ConvLstm网络，但在实现中更加简单。背景图片通过扩张成 3D 和前景信息进行加权得到最终的视频输出.
在这里插入图片描述

DVD-GAN:怪异视频生成器

在这里插入图片描述

$左侧生成器，右侧判别器$

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。