04：我用stable diffusion生成了自己骑摩托的照片

叫我阿柒啊

已于 2024-04-19 14:50:43 修改

阅读量968

点赞数 17

CC 4.0 BY-SA版权

分类专栏： stable diffusion AI绘画文章标签： AI作画 stable diffusion AIGC

于 2024-04-19 14:26:26 首次发布

本文链接：https://blog.youkuaiyun.com/CatchLight/article/details/137944300

前言

在上一篇文章中，写了stable diffusion的扩散原理，其中讲到noise predictor可以将将text prompt和depth map作为条件控制来生成图片。而depth map是controlNet根据我们输入的图片生成的。

我在刚学习stable diffusion的时候，我以为controlNet就是U-Net(noise predictor)，在后面的学习中才明白这是两码事，那么controlNet到底是什么呢?

ControlNet

ControlNet是一种神经网络，用来处理我们输入的图片，以此更精准的控制图像的生成。这是我输入的图片：

然后生成图片：

controlNet1.1提供了14个模型，除了可以根据图片生成深度图，还可以检测图片边缘和识别人体姿势等。

control_v11p_sd15_canny
control_v11p_sd15_mlsd
control_v11f1p_sd15_depth
control_v11p_sd15_normalbae
control_v11p_sd15_seg
control_v11p_sd15_inpaint
control_v11p_sd15_lineart
control_v11p_sd15s2_lineart_anime
control_v11p_sd15_openpose
control_v11p_sd15_scribble
control_v11p_sd15_softedge
control_v11e