生成对抗网络基础与PyTorch 1.3新特性
生成对抗网络(GANs)的应用
GANs在多个领域都有出色的应用表现,以下为你详细介绍:
1. 文本到图像翻译 :基于描述文本生成新图像是GANs的一个优秀应用。Reed等人在2016年提出了从详细描述文本中提取特征,并用这些信息生成与描述完美匹配的花卉或鸟类图像的方法。几个月后,Zhang等人提出了StackGAN,可根据描述文本生成高保真的256x256图像。
2. 视频合成与转换 :视频是一系列图像,因此大多数图像转换方法可直接应用于视频。但视频合成或转换的一个关键性能指标是计算速度。例如,开发移动设备相机应用时,用户希望能实时看到处理结果;在视频监控系统中,使用GANs对视频信号去噪和增强是可行的,快速处理每帧以跟上帧率的模型值得考虑。还有一个有趣的手势转移项目“Everybody Dance Now”,它从源视频中提取舞者动作,通过图像到图像的转换将相同动作映射到目标视频中的人物。
3. 自然语言处理(NLP) :GANs不仅能生成图像,还可生成文本和音频等序列和时间相关数据。2016年,Yu等人提出SeqGAN用于生成诗歌和音乐等序列信号;随后,Mogren提出C - RNN - GAN用于在声学约束下生成古典音乐;2017年,Dong等人设计了MuseGAN来生成包含多种乐器的复音音乐。在语音增强方面,传统方法在某些情况下性能不佳,Pascual等人在2017年设计的SEGAN取得了不错的效果。
4. 3D建模 :既然GANs能基于1D输入生成2D数据,自然可以考虑基于
超级会员免费看
订阅专栏 解锁全文
8497

被折叠的 条评论
为什么被折叠?



