StyleCLIP结合StyleGAN和CLIP，实现文本驱动的图像编辑。通过Latent Optimization、Latent Mapper和Global Directions三种方法，根据文本提示改变StyleGAN生成的图像。Latent Optimization通过梯度下降优化潜在向量；Latent Mapper训练映射网络快速修改图像；Global Directions在Style空间找到全局修改方向，以增强特定属性。该技术在不依赖数据注释的情况下适用于多个领域。
StyleCLIP: Text-Driven Manipulation of StyleGAN Imagery 论文阅读笔记
笔者的话：最近看了StyleGAN的中文解析，觉得得把笔记写得通俗一点比较好，直接翻译看的好累，还不如直接看原文。从这篇开始，向他们学习！ヾ(◍°∇°◍)ﾉﾞ
创新点：
- 结合了StyleGAN（最近风格迁移的利器，下面会介绍）和CLIP（预训练的Text-Image模型，可以提供网络一个名词，比如老虎，对应的图片的样子）。
- 数据集上，这个方法可以用于多个领域，不用局限于数据注释的限制。
介绍
StyleGAN
核心概念如上图所示，传统的generator直接将一个位于向量空间Z的纠缠（entangled）的向量z直接作为网络的输入，而StyleGAN通过Mapping
Network（即图中一连串的FC）将z给映射到中间潜在空间W，在W中，特征的每一维代表图片的某个特征，且相互独立。这样做更利于网络学习，因为每个特征都是分开的。
CLIP
CLIP学习了4亿个图像-文本对，可以用
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
