【Stable Diffusion】来了来了!属于SDXL的ControlNet模型它终于来了!

Stable Diffusion|黑白老照片修复 在这个时代,我们习惯于拥有高清、色彩丰富的照片,然而,那些古老的黑白色老照片由于年代的久远,往往会出现模糊、破损等现象。 阅读详情

千呼万唤始出来!就在昨天,WebUI的ControlNet1.1.4版本终于更新,这次的更新支持了SDXL1.0的模型。我怀着兴奋的心情,打开了网站开始下载模型。这次总共出了四种控制类型,分别是Canny、Depth、Sketch和Openpose。
在这里插入图片描述

来到HuggingFace的网址:https://huggingface.co/lllyasviel/sd_control_collection/tree/main。可以看到这里有相当多的模型,当然,我们不需要全部都下载下来,因为它们之间有很多功能是重复的,是不同的作者做出来的。

在这里插入图片描述

但是呢,为了帮你们提前踩雷,我把他们全部都下载了,而且逐个做了测试,看到我这么辛苦的份上,你们一定会要给我一个“点赞”和“在看”的吧。

在这里插入图片描述

接下来,让我们来分类看一下吧。

#Canny硬边缘

首先是canny,它有几个不同的型号,体积越大,速度越慢。

在这里插入图片描述

我使用的是4080ti的笔记本进行的测试,12G显存。

  • 模型sdxl base+refiner

  • 提示词:masterpiece,best quality,1girl

  • 采样方法:euler a

  • 尺寸1024*1024

在这里插入图片描述

使用diffusers的2.5Gfull模型绘制的图片,一张图花了2分57秒,从这个效率上来看,这个大尺寸基本可以弃了。

在这里插入图片描述

使用diffusers的320Mb的small模型,用时34s,质量上差距不大,主要是时间优势很明显。

在这里插入图片描述

我们可以再看看其他作者的,这张是kohya的,用时33秒,更接近真实质感。

在这里插入图片描述

sai的canny分为128lora和256lora,分别用时39秒和1分08秒,这个模型比较偏绘画的感觉。

在这里插入图片描述

在这里插入图片描述

最后还有一个t2i的canny模型,用时34s,也是偏插画一点。

在这里插入图片描述

你们觉得哪个效果更好呢?时间上基本都在30秒以上,如果关掉refiner的话,能节省一半左右的时间,平均在17秒左右。

#Depth深度

接下来测试一些depth模型,图形尺寸664*1024。

在这里插入图片描述

使用diffusers的full模型,用时2分48秒,sdxl给我随机到了一个拼贴画的风格。

在这里插入图片描述

使用diffusers的small模型,用时23s。

在这里插入图片描述

使用kohya模型,用时42秒。这……好像和我的图片没什么关系。

在这里插入图片描述

使用sai模型,用时1分12秒,画质还可以,稍微有点慢。

在这里插入图片描述

Sketch草图

接下来测试一下sketch模型,画一只可爱的小猫,图形尺寸1024*624。

在这里插入图片描述

使用kohya模型,用时30秒,这是个啥???

在这里插入图片描述

使用sai模型,没找到小猫具体的位置,用时32秒,画质还可以。

在这里插入图片描述

使用t2i模型,用时28秒,唯一一个准的。

在这里插入图片描述

Openpose骨架

最后测试一下openpose模型,图形尺寸1024*624。

在这里插入图片描述

使用kohya模型,画很好看,但姿势不对,用时40秒。

在这里插入图片描述
**在这里插入图片描述
**

使用 Stable Diffusion XL 和 SDXL LoRA,ControlNet 生成图片 Stable Diffusion XL 是由 Stability AI 创建的一种新的图片生成模型。和之前的 Stable Diffusion 1.5 模型相比它主要做了以下的优化或者增强:1)对于原有 Stable Diffusion 1.5 的 U-Net,VAE,CLIP Text Encode 做了改进;2)在原有模型基础上上增加了一个 Refiner 模型,通过 Refiner 模型来提升图片的精细程度; 阅读详情

相关推荐

Stable diffusion 都支持哪些模型

Stable Diffusion 的模型种类繁多,涵盖了从基础到高级的多种需求,同时支持文本到图像、图像到图像、视频生成等多种任务。这些模型不仅在分辨率和细节上有所提升,还通过不同的技术优化了性能和适用性,满足了不同用户的需求。

kcarly的专栏 2048

它来了!SDXL + ControlNet 终于强强联合!

SDXL 1.0 发布已经过去20多天,终于迎来了首批能够应用于 SDXL 的 ControlNet 模型了!我们都知道,相比起通过提示词的方式,ControlNet 能够以更加精确的方式引导 stable diffusion 模型生成我们想要的内容。就好比当我们想要一张“鲲鲲山水图”的时候,会发现很难通过语言来描述这样的景象。但是有了 ControlNet 之后,一切都会变得容易许多。

m0_59162248的博客 9788

【第9章】Stable Diffusion WebUI ControlNet SDXL官方案例演示(6款功能/安装/使用/推荐参数/硬件要求/预处理器/模型)

Stable Diffusion ControlNet SDXL版本官方案例演示,内容涵盖:安装方式、硬件要求、推荐参数、功能演示(Depth、Canny、Revision、IP-Adapter、Reference-Only、Recolor)。本章是对ControlNet的补充内容,学完本章,你就能够在SDXL版本中使用ControlNet啦!

聚梦小课堂 1401

AI绘画:SDXL版ControlNet模型和使用方法!

SDXL是目前最强的AI绘画基础模型,直接加载模型,就可以生成不错的效果。但是它有一个致命的问题,就是不支持ControlNet。在AI绘画中,ControlNet是一个非常重要的工具。有了它,就可以生成更加可控精准的图片。ControlNet的用途非常多,比如,控制人物姿势、线稿上色、动漫变真人、艺术二维码,光影字、ailogo...好消息是,SDXL终于也支持了Controlnet。虽然只有一个canny模型,但是至少是能用了。

托尼不是塔克 6026

stable diffusion模型管理和controlnet最新支持SDXL模型下载.pdf

stable diffusion模型管理和controlnet最新支持SDXL模型下载

Controlnet SDXL最新模型-.safetensors文件包合集

Controlnet SDXL最新模型,协助stable diffusion绘图时指定人物动作姿势

图像生成(AI绘画)的发展史:从DALLE、DALLE 2、DALLE 3到Stable Diffusion、SDXL、SD3(含ControlNet详解)

终于开写本CV多模态系列的核心主题:stable diffusion相关的了,为何执着于想写这个stable diffusion呢,源于三点确实非常非常多的朋友都看过我那篇SVM笔记,影响力巨大,但SVM笔记之后,也还是写了很多新的博客/文章滴,包括但不限于:xgboost、CNN、RNN、LSTM、BERT等今后基本每季度都有更新的计划,欢迎常来关于Stable Diffusion,可以先看下这篇的文章”(此篇文章也是本文的重要参考之一)

结构之法 算法之道 3万+

实战:如何通过修改VTS和HTS调整GC4653 sensor帧率(附完整计算步骤)

本文以GC4653图像传感器为例,详细解析了通过修改VTS和HTS寄存器来精确调整输出帧率的完整流程。文章深入剖析了帧率计算公式FPS = PCLK / (VTS × HTS)的核心原理,并提供了从获取寄存器参数、计算目标VTS值到系统验证的实战步骤,帮助工程师掌握独立优化Sensor性能、提升低照度画质的关键技能。

gin88的博客 343
上一篇: 【Stable Diffusion】SD安装、常用模型(checkpoint、embedding、LORA)、提示词具、常用插件
下一篇: AI技术:分享8个非常实用的AI绘画网站
不秃头de程序猿
博客等级 码龄5年 4091粉丝 1482原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值