大家好我是安琪!!!
在数字图像生成领域,可图生态的每一次进步都让人兴奋不已。最新推出的Kolors-
MZ,可图已可用SD灵魂插件,集成了可控性CN组件与风格一致IPA组件,为可图生态带来了新的里程碑。让我们一起探索这个强大的新工具,开启创意之旅。
在之前的文章中已经介绍过这款来自国内大厂快手的可图模型 。这是一款当前优秀的AIGC模型,经过数十亿个文本-图像对的训练,Kolors
在视觉质量、复杂语义准确性以及中英文字符的文本渲染方面表现出优于开源和闭源模型的显着优势。此外,Kolors支持中文和英文输入,在理解和生成中文特定内容方面表现出色。
Kolors主要优点包括:
• Kolors 是在数10亿图文对下进行训练,
• 在
视觉质量、复杂语义理解、文字生成(中英文字符)
等方面,相比于当前业界开源/闭源模型,都展示出了巨大的优势。特别是在中文文字生成方面领先于当前所有业界模型。
• Kolors 支持中英双语,在中文特色内容理解方面更具竞争力。
就在近日社区已经实现了基于可图模型的IP-Adapter-Plus 风格一致性方案:ComfyUI-Kolors-
MZ插件。这是一款来自社区的支持可图模型ControlNet 、IP-Adapter-Plus
多功能一体的ComfyUI插件。这也是可图模型社区发展愈加繁荣的前景。
• ComfyUI-Kolors-MZ插件地址(可自行扫描获取)
Kolors-MZ与IPA模型安装指南
关于可图Kolors模型的ComfyUI安装和使用
• 插件管理器搜索ComfyUI-Kolors-MZ 插件,并安装该插件。
• Kolors unet :下载模型并放置 /ComfyUI/models/unet/ 目录
• Kolors chatglm3 :下载模型并放置 /ComfyUI/models/LLM/ 目录。
• ip_adapter_plus_genernal.bin :下载模型并放置于ComfyUI/models/ipadapter/ 目录。
• image_encoder/pytorch_model.bin :下载模型并放置于ComfyUI/models/clip_vision/
目录。
• 建议针对上述通用名称模型rename,便于后续管理
常见问题FAQ
-
• name ‘round_up’ is not defined :使用
pip install cpm_kernels
或者pip install -U cpm_kernels
更新cpm_kernels
。参见文档:https://github.com/THUDM/ChatGLM2-6B/issues/272#issuecomment-1632164243。 -
• module ‘comfy.model_detection’ has no attribute ‘unet_prefix_from_state_dict’ :需要更新本地ComfyUI版本
-
• RuntimeError: Only Tensors of floating point dtype can require gradients :尝试使用fp16版本的模型: https://huggingface.co/Kijai/ChatGLM3-safetensors/blob/main/chatglm3-fp16.safetensors
-
• Error occurred when executing MZ_ChatGLM3Loader: ‘ChatGLMModel’ object has no attribute ‘transformer’ :请检查本地ChatGLM3Loader节点选择的模型是否已经正确下载。
ComfyUI工作流
工作流中,使用Kolors模型加载绘图,采用0.8权重的Kolors IP-Adapter 保持画面风格迁移,同时使用Kolors
ControlNet OpenPose控制人物姿势。经测试当前ControlNet
组件已支持不少功能组件,感兴趣读者可自行尝试。对于Kolors IP-Adapter
则为整体画面风格迁移,还没有专门的Face保持,并且强度干扰较大,因此注意调节权重0.3~0.8之间。
可图模型CN+IPA体验
模型配置
本文涉及模型下载 地址:
-
• 可图大模型
-
• 网盘下载
正向提示词 :
真实的照片,1女孩,18岁女生,中国女孩,高清质量,柔和阳光, 干净的脸,白皙皮肤, 透明丝绸婚纱,红色玫瑰,面纱,窗帘,室内,红色主题,
负向提示词 :
(worst quality, low
quality:2),(NSFW:2),ng_deepnegative_v1_75t,EasyNegative,badhandv4,NSFW,(nsfw:1.3),render,childlike,text,signature,(worst
quality, low quality, very displeasing, lowres),(interlocked fingers, badly
drawn hands and fingers, anatomically incorrect hands),blurry,watermark,