Stable Diffusion ControlNet OpenPose | 以后出图姿势自由了!

接着进阶篇,前面我们学习了如何使用 ControlNet 的姿势约束,通过姿势约束控制出图的人物姿势和原图一致。

[

但有的时候我们不仅仅是需要想要和原图姿势一致,还需要调整人物的姿势,想要实现这种功能按照之前学习的内容就只能通过不断的调整提示词来控制。

今天要学习的 ControlNet OpenPose Editor 就可以很好的解决这个问题,从而实现姿势自由了!

一 OpenPose Editor

我们可以将 OpenPose 理解成是对 ControlNet 姿势约束的一大增强。前面我们学习了 DWOpenPose,通过 DWOpenPose 可以更好的提取到图片手部的细节。但终究还是直接提取,不能很好的自己编辑姿势。

而 OpenPose 则可以很好的支持通过导入图片识别姿势的同时,也能够直接编辑骨骼图,通过对骨骼图的编辑,可以实现任意姿势的图片。

要注意的是不管是 DWOpenPose 还是 OpenPoseEditor ,都只是在提取或者说是制作姿势特征图。而对特征图的识别和渲染方式没有改变,都是通过 control_v11p_sd15_openpose 实现。

安装安装和其他插件的安装一直,将安装连接 https://ghproxy.com/https://github.com/fkunn1326/openpose-editor.git 直接贴上去,通过网址安装。(安装完成后记得重启)

安装完成重启后就可以在 web ui 上看到 OpenPose编辑器 的菜单

二 功能介绍

骨骼图

其中对应序号的人体位置:

  • 1:眼睛

  • 2:肩关节

  • 3:肘关节

  • 4:腕关节

  • 5:髋关节

  • 6:膝关节

  • 7:踝关节 可以直接通过鼠标来控制对应的人体位置。

页面功能

其中:

  • 宽度&高度:可以调整右侧画面的长宽比,可以根据成图时画面的尺寸比例进行设置

  • 添加:在右侧画面中新增一个骨架

  • 清空画面:点击后会一键清空右侧所有内容

  • 从JSON文件加载:从电脑中选择JSON文件进行加载

  • Detect from Image:可以导入一张图片,SD会自动读取人物骨骼姿态,读取成功后可以进行二次编辑和调整

  • Add Background Image:可以导入一张图片作为背景,再根据背景图片调整骨架

  • Load Preset:加载预设

  • Save Preset:保存预设(点击后会把右侧的骨架信息作为预设进行保存)

  • 储存为JSON文件:点击按钮后,会把上方骨架信息保存为JSON文件,后续可直接导入文件

  • 保存为PNG图片:保存图片到本地电脑中

  • 文生图:把骨架信息导入到文生图的ControlNet中

  • 图生图:把骨架信息导入到图生图的ControlNet中

三 使用

我们通过一个例子快速学习 OpenPoseEditor,先上模特图。放入到编辑器中,OpenPoseEditor 可以自动提取骨骼图

我们可以随意的调整下骨骼图,紧接着发送到 文生图

在文生图的 ControlNet 中可以看到 OpenPose 中有发送过来的特征图(切记不要选择预处理器)

随便写点提示词,见证奇迹的时候到了!

正向提示词:3man,(masterpiece:1,2),best quality,best detail,
male focus,suspenders,grey pants,3boys,play basketball,

先不看手部,对于整体姿势的控制还是很到位的。而手部的控制,同样可以配套的手部骨骼图,这块在后续再细聊!

文章使用的AI工具SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,无需自行查找,有需要的小伙伴文末扫码自行获取。

写在最后

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

若有侵权,请联系删除
### Stable Diffusion ControlNet 模型列表及其作用 #### 控制网络概述 ControlNet 是一种用于增强 Stable Diffusion 像生成能力的神经网络模型。它允许用户引入额外的条件信号(如边缘检测、姿态估计等),从而更精确地控制生成像的内容和风格[^3]。 #### 常见的 ControlNet 模型及功能描述 以下是常见的 ControlNet 模型以及它们各自的作用: 1. **Canny 边缘检测** - Canny Edge Detection Model 使用经典的 Canny 算法提取输入像的边缘信息作为条件信号。 - 这种模型适用于生成具有清晰轮廓线的艺术作品或插画,能够显著提高线条结构的一致性和准确性[^4]。 2. **Depth Map (深度)** - Depth Estimation Model 提供场景中物体距离相机远近的信息。 - 利用该模型可以创建带有强烈透视感的画面,特别适合建筑渲染或风景创作任务。 3. **Normal Map (法向量贴)** - Normal Mapping Model 计算表面方向数据以模拟复杂材质外观。 - 此类模型有助于实现逼真的纹理细节表现,比如金属光泽或者布料褶皱效果。 4. **Pose Estimation (人体姿态估计)** - Human Pose Detection Model 识别并标注人物肢体关节位置关系。 - 当遇到缺少 `mmpose` 库错误时,可能是因为此部分依赖于外部工具包来进行骨骼点预测操作[^1]^。 如果希望正常运行含有人体动作捕捉需求的应用程序,则需安装相应支持库文件。 5. **Segmentation Mask (分割掩码)** - Semantic Segmentation Model 将片划分为不同语义区域类别标签形式表示来。 - 用户可以根据这些分类结果指定特定区域内填充颜色或者其他视觉属性变化规则,进而指导AI按照预设意调整最终产物样式特征. 6. **Line Art / Scribble Sketches (素描草稿)** - Line Drawing Recognition Model 解析手绘线条案含义,并将其转化为计算机可理解的形式参与后续计算流程当中去. 7. **Openpose Body Keypoints Extraction(开放姿势身体关键点抽取)** - OpenPose Framework Based Module 自动定位视频流帧序列里的人物形象轮廓坐标集合, 并形成骨架连接线路展示给算法参考利用. 8. **MLSD Mid-Level Structure Description Network(Mid-level 结构描述网络)** - MLSD Algorithm Focuses On Detecting Middle Level Features Such As Corners And Intersections Within An Image Scene Which Can Be Utilized To Guide The Generation Process More Accurately Towards Desired Outcomes.[^4] 9. **Recolorization With Color Palette Matching(Color 配色方案匹配重着色处理)** - Recolored Version Of Original Inputs By Comparing Against Predefined Swatches Or Custom Defined Ones Provided By Users Themselves For Consistent Stylistic Choices Across Multiple Outputs Generated Sequentially Over Time Periods. ```python from diffusers import StableDiffusionControlNetPipeline, ControlNetModel import torch controlnet_canny = ControlNetModel.from_pretrained("lllyasviel/sd-controlnet-canny", torch_dtype=torch.float16) pipe_canny = StableDiffusionControlNetPipeline.from_pretrained( "runwayml/stable-diffusion-v1-5", controlnet=controlnet_canny, safety_checker=None, torch_dtype=torch.float16 ) image = pipe_canny(prompt="a cute cat sitting on a chair", image=input_image).images[0] ``` 以上代码片段演示了如何加载基于 Canny 边缘检测技术构建而成的一个具体实例化对象,并调用了对应的方法完成一次简单的文转换请求作业。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值