入门级实操：Stable Diffusion 中 ControlNet 应用指南

最新推荐文章于 2025-11-25 03:20:15 发布

原创最新推荐文章于 2025-11-25 03:20:15 发布 · 295 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#stable diffusion #人工智能 #计算机视觉

ControlNet 安装与配置

确保已安装最新版本的Stable Diffusion WebUI（如Automatic1111）。ControlNet插件可通过WebUI的“Extensions”选项卡安装：进入“Available”子选项卡，搜索“ControlNet”，点击“Install”。重启WebUI后，在“Installed”选项卡中确认插件已启用。

下载预训练模型至stable-diffusion-webui/extensions/sd-webui-controlnet/models目录。常用基础模型包括control_v11p_sd15_canny.pth（边缘检测）和control_v11f1p_sd15_depth.pth（深度图）。模型需与Stable Diffusion主模型版本兼容。

基础工作流程

上传输入图像至WebUI的“img2img”或“txt2img”选项卡，切换到“ControlNet”子面板。勾选“Enable”激活功能，选择预处理类型（如Canny、Depth）和对应模型。调整“Control Weight”（控制强度，建议0.5-1.2）和“Starting/Ending Control Step”（控制介入时机）。

生成图像前，通过“Preview”按钮检查预处理效果。例如使用Canny时，可调整“Canny Low/High Threshold”改变边缘检测灵敏度。深度图预处理需关注“Background/Foreground Threshold”以控制物体分离程度。

典型应用场景

姿势复现：上传人物姿势参考图，选择“OpenPose”预处理。模型会提取骨骼信息，新生成图像将保持相同姿势。适合角色设计或动画分镜。

线稿上色：上传黑白线稿，选择“MLSD”或“Scribble”预处理。提示词需描述色彩风格（如“watercolor painting”）。控制权重建议0.6-0.8以平衡创意自由度。

背景替换：使用“Depth”预处理分离主体与背景。在提示词中指定新背景（如“frosted forest”），调整“Ending Control Step”为0.5-0.7使背景自然融合。

高级参数调整

多重ControlNet：WebUI支持同时启用多个ControlNet单元。例如组合“Depth”与“Normal Map”实现三维光照控制，需分层设置不同权重（深度0.7+法线0.3）。

提示词协同：当使用“Semantic Segmentation”时，提示词应包含与色块对应的物体描述。ADetailer扩展可配合进行局部重绘提升细节。

模型混合：尝试不同基础模型与ControlNet的组合。例如RealisticVision模型配合“Tile”预处理可实现高质量放大，参数需降低“Denoising Strength”至0.2-0.3。

故障排除

预处理结果异常时，尝试更换预处理器版本（如“canny”与“canny_mlsd”）。生成图像过度失真时，降低控制权重或调整“Guidance Start/End”。显存不足错误可通过降低分辨率或启用“Low VRAM”模式解决。

日志文件stable-diffusion-webui/log/images/controlnet保存历史参数，便于回溯成功配置。定期清理旧模型可避免版本冲突，推荐使用工具如thaud管理扩展依赖。