Stable Diffusion ControlNet 姿势约束终篇,解锁任意手部形状,实现手部自由

部署运行你感兴趣的模型镜像

在上一节 实现骨骼姿势自由篇,我们可以随意的控制身体的姿势,不过对于手部细节就一言难尽了!

图片

我们随便来一个身体姿势看看手部

身体姿势图片

出图效果图片

emmmm… 姿势有了,但是四肢确实看不了。

今天我们就来彻底解决这些问题!

一 3d-open-pose-editor 介绍

图片

3D open pose editor 功能:

  • 姿势编辑: 通过选择关节并使用鼠标旋转编辑 3D 模型的姿势。
  • 手部编辑: 通过选择手部骨骼并使用彩色圆圈微调位置来精调手部位置。
  • 深度 / 法线 / Canny 地图: 生成和可视化深度、法线和 Canny 地图,以提高 AI 绘图的质量。
  • 保存/加载/还原场景: 使用内置的保存和加载功能保存进度并在以后恢复。
  • 调整身体参数: 调整各种身体参数,如身高、体重和肢体长度,创建自定义的 3D 模型。

简单来说,可以支持身体姿势和四肢的编辑,并且生成姿势、深度、法线和canny 特征图,一键发送到 文生图/图生图中使用。

二 安装

和其它插件安装方法一致,直接在 拓展菜单中输入地址进行安装,重启 https://github.com/nonnonstop/sd-webui-3d-open-pose-editor图片

三 应用

我们通过 一个完整的例子来看看效果到底怎么样。

姿势编辑

我们可以通过加载一张图片或者是直接设置随机姿势进入编辑态。

图片图片

可以通过点击关节处进行编辑姿势。编辑完成后可以点击 生成或这样右下角播放按钮进行生成 姿势图/canny/深度和法线特征图

姿势导入

编辑完成后,可以点击右下角的四张预览图就可以下载到本地了图片

将下载好的特征图分别放入到不同的 ControlNet 设置中。(建议最多放三个即可,设置的过多出图效果反而很差)

在这我导入了 openpose, cannydepth 三个ControlNet

图片

其中:

  • openpose:模型是 control_v11p_sd15_openpose,不需要设置预处理器
  • canny:模型是 control_v11p_sd15_canny,不需要设置预处理器
  • depth:模型是 control_v11p_sd15_depth,不需要设置预处理器

出图

最后来看看出图的效果图片

整体抽卡的成功率还是很高的。如果希望整体效果更好,特别是手部的细节。那么可以在编辑姿势的时候尽可能的让整个姿势图占到整个图片的大小或者设置更大的分辨率。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

需要的可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 (全套教程文末领取哈)

随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。

最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入坑stable diffusion,科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

Stable-Diffusion-3.5

图片生成
Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型,相比 3.0 版本,它提升了图像质量、运行速度和硬件效率

### Stable DiffusionControlNet 技术详解 #### 控制生成过程中的不确定性 Stable Diffusion 是一种强大的图像生成功能,能够基于文本描述创建视觉内容。不过,在实际应用过程中发现仅依赖于复杂的提示词难以精准控制输出效果[^2]。 为了改善这一点,ControlNet 扩展被引入到 Stable Diffusion 中来增强模型的表现力。通过利用额外的信息作为条件输入给扩散模型,使得用户可以在一定程度上指导生成流程,从而获得更加符合预期的结果。 #### 获取并加载预训练好的 Community Model 对于想要尝试不同风格或者特定功能的使用者来说,可以从 Hugging Face 平台获取由社区贡献的各种版本的 ControlNet 模型文件。这些资源位于指定链接下,并且支持直接应用于个人项目之中[^1]: - 社区 ControlNet 模型下载地址:<https://huggingface.co/lllyasviel/sd_control_collection/tree/main> #### 配置 WebUI 插件以启用 ControlNet 功能 当已经在本地环境中部署好了基础版 Stable Diffusion 后,下一步就是安装对应的插件以便更好地操作新加入的功能模块。这通常涉及到修改配置文件以及确保所有必要的依赖项都已经正确设置完毕。完成之后就可以在图形界面里找到新增加的操作选项了。 #### 调整参数优化输出质量 值得注意的是,除了简单的开启关闭之外,还可以进一步微调一些高级设定比如 `controlnet_exit_step` 来影响整个渲染周期内的干预程度。例如将该值设为 0.8 表明只会在前百分之八十的时间段内保持激活状态直到第 24 步结束时停止作用[^5]。 ```python from diffusers import StableDiffusionPipeline, EulerAncestralDiscreteScheduler import torch model_id = "runwayml/stable-diffusion-v1-5" scheduler = EulerAncestralDiscreteScheduler.from_pretrained(model_id, subfolder="scheduler") pipe = StableDiffusionPipeline.from_pretrained(model_id, scheduler=scheduler).to("cuda") prompt = "A fantasy landscape with mountains and rivers." image = pipe(prompt=prompt, controlnet_model="path_to_your_downloaded_ControlNet", controlnet_exit_step=0.8).images[0] image.show() ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值