[Kolors-MZ]可图已可用SD灵魂插件:可控性CN组件与风格一致IPA组件,可图生态里程碑的新跃进

大家好我是安琪!!!

数字图像生成领域,可图生态的每一次进步都让人兴奋不已。最新推出的Kolors-
MZ,可图已可用SD灵魂插件,集成了可控性CN组件与风格一致IPA组件,为可图生态带来了新的里程碑。让我们一起探索这个强大的新工具,开启创意之旅。

在之前的文章中已经介绍过这款来自国内大厂快手的可图模型 。这是一款当前优秀的AIGC模型,经过数十亿个文本-图像对的训练,Kolors
在视觉质量、复杂语义准确性以及中英文字符的文本渲染方面表现出优于开源和闭源模型的显着优势。此外,Kolors支持中文和英文输入,在理解和生成中文特定内容方面表现出色。

Kolors主要优点包括:

• Kolors 是在数10亿图文对下进行训练,

• 在
视觉质量、复杂语义理解、文字生成(中英文字符)
等方面,相比于当前业界开源/闭源模型,都展示出了巨大的优势。特别是在中文文字生成方面领先于当前所有业界模型。

• Kolors 支持中英双语,在中文特色内容理解方面更具竞争力。

就在近日社区已经实现了基于可图模型的IP-Adapter-Plus 风格一致性方案:ComfyUI-Kolors-
MZ插件。这是一款来自社区的支持可图模型ControlNetIP-Adapter-Plus
多功能一体的ComfyUI插件。这也是可图模型社区发展愈加繁荣的前景。

• ComfyUI-Kolors-MZ插件地址(可自行扫描获取)

在这里插入图片描述

Kolors-MZ与IPA模型安装指南

关于可图Kolors模型的ComfyUI安装和使用

• 插件管理器搜索ComfyUI-Kolors-MZ 插件,并安装该插件。

Kolors unet :下载模型并放置 /ComfyUI/models/unet/ 目录

Kolors chatglm3 :下载模型并放置 /ComfyUI/models/LLM/ 目录。
ip_adapter_plus_genernal.bin :下载模型并放置于ComfyUI/models/ipadapter/ 目录。

image_encoder/pytorch_model.bin :下载模型并放置于ComfyUI/models/clip_vision/
目录。

• 建议针对上述通用名称模型rename,便于后续管理

常见问题FAQ
  • name ‘round_up’ is not defined :使用pip install cpm_kernels 或者 pip install -U cpm_kernels 更新 cpm_kernels。参见文档:https://github.com/THUDM/ChatGLM2-6B/issues/272#issuecomment-1632164243。

  • module ‘comfy.model_detection’ has no attribute ‘unet_prefix_from_state_dict’ :需要更新本地ComfyUI版本

  • RuntimeError: Only Tensors of floating point dtype can require gradients :尝试使用fp16版本的模型: https://huggingface.co/Kijai/ChatGLM3-safetensors/blob/main/chatglm3-fp16.safetensors

  • Error occurred when executing MZ_ChatGLM3Loader: ‘ChatGLMModel’ object has no attribute ‘transformer’ :请检查本地ChatGLM3Loader节点选择的模型是否已经正确下载。

ComfyUI工作流

工作流中,使用Kolors模型加载绘图,采用0.8权重的Kolors IP-Adapter 保持画面风格迁移,同时使用Kolors
ControlNet
OpenPose控制人物姿势。经测试当前ControlNet
组件已支持不少功能组件,感兴趣读者可自行尝试。对于Kolors IP-Adapter
则为整体画面风格迁移,还没有专门的Face保持,并且强度干扰较大,因此注意调节权重0.3~0.8之间。

可图模型CN+IPA体验

模型配置

本文涉及模型下载 地址:

  • 可图大模型

  • 网盘下载

在这里插入图片描述

正向提示词

真实的照片,1女孩,18岁女生,中国女孩,高清质量,柔和阳光, 干净的脸,白皙皮肤, 透明丝绸婚纱,红色玫瑰,面纱,窗帘,室内,红色主题,

负向提示词

(worst quality, low
quality:2),(NSFW:2),ng_deepnegative_v1_75t,EasyNegative,badhandv4,NSFW,(nsfw:1.3),render,childlike,text,signature,(worst
quality, low quality, very displeasing, lowres),(interlocked fingers, badly
drawn hands and fingers, anatomically incorrect hands),blurry,watermark,

01

02

03

### 文件名解释 #### 1. `diffusion-pytorch-model.safetensors` `diffusion-pytorch-model.safetensors` 是一种深度学习模型权重文件,通常用于存储基于 PyTorch 框架的扩散模型Diffusion Model)的参数。以下是对文件名各部分的详细解释: - **`diffusion`**:表示该模型属于扩散模型Diffusion Model)家族。扩散模型是一种生成式模型,通过逐步添加噪声到数据中,然后训练模型逆转这一过程以生成高质量的图像或数据[^2]。 - **`pytorch`**:表明该模型使用 PyTorch 深度学习框架进行开发和训练。PyTorch 是一个广泛使用的深度学习框架,以其动态计算图和易用性著称[^3]。 - **`model`**:指代这是一个完整的模型文件,包含所有必要的权重和参数,可以直接加载到对应的模型架构中。 - **`.safetensors`**:文件格式,表示权重以 `.safetensors` 格式存储,这种格式比传统的 `.ckpt` 或 `.pth` 格式更安全、更高效[^1]。 #### 2. `kolors-inpainting.safetensors` `kolors-inpainting.safetensors` 是另一个深度学习模型权重文件,主要用于图像修复任务(Inpainting)。以下是对其文件名的详细分解: - **`kolors`**:可能是一个特定项目或模型的名称,例如 Kwai-Kolors 是一个图像生成和修复相关的开源项目[^2]。 - **`inpainting`**:表示该模型专门用于图像修复任务。图像修复是指在给定部分损坏或缺失的图像时,通过算法预测并填充缺失区域以恢复完整图像的过程[^4]。 - **`.safetensors`**:同上,表示文件采用 `.safetensors` 格式存储模型权重。 #### 中文含义 - **`diffusion-pytorch-model.safetensors`**:扩散模型的 PyTorch 权重文件。 - **`kolors-inpainting.safetensors`**:Kolors 项目中用于图像修复任务的模型权重文件。 --- ### 示例代码 以下是如何加载 `.safetensors` 文件的 Python 示例代码: ```python from safetensors.torch import load_file import torch # 加载 diffusion-pytorch-model.safetensors 文件 weights_diffusion = load_file("diffusion-pytorch-model.safetensors") # 加载 kolors-inpainting.safetensors 文件 weights_inpainting = load_file("kolors-inpainting.safetensors") # 初始化模型并加载权重 model_diffusion = YourDiffusionModelClass() # 替换为实际模型类 model_diffusion.load_state_dict(weights_diffusion) model_inpainting = YourInpaintingModelClass() # 替换为实际模型类 model_inpainting.load_state_dict(weights_inpainting) ``` --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值