使用 Stable Diffusion 生成的仿旧照片和二次元图片

转载已于 2023-02-27 06:15:00 修改 · 1.1w 阅读

4 ·

CC 4.0 BY-SA版权

原文链接：https://ruanqizhen.wordpress.com

文章标签：

#计算机视觉 #贴图 #图像处理 #GAN

于 2022-10-28 22:28:00 首次发布

博主在个人电脑上运行Stable Diffusion模型，测试生成真实人像与二次元人像的转化，还尝试生成仿旧照片、风景图片等。该模型较小能在低配置电脑运行，但生成逼真人像较难，需配合GAN。如今模型和工具不断发展，已能满足业余及专业领域需求。

这几天在电脑上运行 Stable Diffusion 玩了玩。这是我机器上的测试页面：https://qizhen.xyz/genimg

这个模型比 Dall.E 的小很多，所以才能在配置不高的个人电脑上跑。而且，我的电脑也只能勉强生成小尺寸的照片。虽然效果可能不如专业网站用的大模型，但有些作品已经很逼真了。我主要试试了生成真实人像以及和二次元人像之间的转化。Diffusion 模型不太擅长逼真的人像，程序生成的人像使用 GFPGAN 改善过的。在人像中，个人感觉这个模型最擅长生成白人年轻女性的照片。我也尝试了让它生成一些中国人的照片，但感觉都不是那么美，实际上多数生成的中国人照片都看起来比较别扭。很可能是因为它的训练集中就有比较多的白人年轻女性照片，或者也可能是因为我生长在中国，对中国人的面貌更敏感，更容易发觉异常。

先贴两张 AI 生成的仿旧照片，看起来还真挺像真的：

在这里插入图片描述

接下来几组图片，都是首先生成了左边的真实照片风格的图片，再根据照片转换成了右边二次元图片：

下面这两组图片是先生成的左边的二次元风格图片，再根据它生成右侧的真实照片风格图片：

可以明显感觉到，生成真实照片要困难很多。我猜是，人脑对所谓“真实”照片更挑剔。

下面两组是风景图片，感觉两种风格生成出来的图片区别远没有人像的区别那么大

2023年二月更新：

Stable Diffusion 刚发布的时候，对于人像的处理还比较差的，要配合GAN模型才能生成出比较真实的人像图片。这才几个月，各种针对特定目标的模型就纷纷出炉了。人像自然是最重要一方面，现在 Diffusion 模型直接生成的人像就已经可以以假乱真了。而且，各种专业工具也相继发布，比如，controlnet可以让用户画几个直线表示人体姿势，然后生成相应姿势的人像。
图片生成模型几个月前就已经满足我这种纯业余者的需求了，我一般就用它生成文档或者ppt的插图。目前，在各种工具的加持下，专业领域应该也可以用的上了。

贴一些我制作的图片：

请添加图片描述