我用stable diffusion把真人转换成了手办

最新推荐文章于 2025-02-20 14:36:41 发布

原创最新推荐文章于 2025-02-20 14:36:41 发布 · 967 阅读

23 ·

CC 4.0 BY-SA版权

文章标签：

#stable diffusion #chatgpt #AIGC #计算机视觉 #midjourney #人工智能

stablediffusion是一款非常强大的开源人工智能绘画软件，仅使用提示词就能做出很精美的图画。比如我让他画一辆清晨停在停车场的兰博基尼跑车，就得到了以下画面：

当然实际上并没有这么简单，想要让stable
diffusion画出高质量的图片，需要设置的地方还有大模型，小模型，正面提示词，反面提示词，提示词强度，分辨率，迭代步数等等巨多的参数。

最近我在研究如何将人物照片转换成手办照片，在这里记录下制作流程和注意事项，以便日后参考。

这次实验的目的是将下面这张人物照片转换成相似的手办照片。

在这里插入图片描述

1、将照片导入标签提取器，获得提示词，并手工筛选和调整。

2、因为要做卡通手办图，这里选择“disneyPixarCartoon_v10(1)”大模型。在AI绘图中，正确的选择大模型是很重要的。将提示词加入到文生图的正向提示词内，并补充画质和风格相关词语。并随着出图效果不断调整提示词内容，最终固定。最终的正面提示词如下：

“1girl, realistic, smile,[realistic],[3d],(3dcg), ((octane render)),
masterpiece, best quality, chibi,full body, pants, shirt, jewelry, photo
background,1 bag,1 phone,white shirt,solo, shoes,bracelet, blurry background,
full body,cellphone, smile, standing,holding, black pants,blurry, black hair,
realistic, handbag,white footwear, smartphone, sneakers, brown
hair,jeans,short hair,short sleeves, hold the phone in hand,in Exhibition
Hall,gray background, Background blurring, light smile, Pretty Asian Girl,
Both eyes open,”

负面提示词使用模版：

“ng_deepnegative_v1_75t,easynegative,bad_prompt_version2,deformed,missing
limbs,amputated,pants,shorts,cat ears,bad anatomy,naked,no
clothes,disfigured,poorly drawn
face,mutation,mutated,ugly,disgusting,blurry,watermark,watermarked,oversaturated,obese,doubled
face,b&w,black and white,sepia,nude,frekles,no masks, duplicate
image,blur,paintings, sketches, (worst quality:2), (low quality:2), (normal
quality:2), lowres, normal quality, monochrome, grayscale, bad
anatomy,(fat:1.2), facing away, looking away,tilted head,lowres,bad anatomy,
bad hands, text, error, missing fingers, extra digit, fewer digits, cropped,
worstquality, low quality,normal quality, jpegartifacts, signature, watermark,
username,blurry,bad feet,cropped,worst quality, low quality, normal
quality,jpeg artifacts,signature, watermark, bad eyes, red eyes, open
mouth,(Cock-eye,:1.1), With closed eyes,”

此时生成的图片是这样的：

3、为了控制人物动作，将原图加入第一个controlnet，设置模型为openpose_full，选择向上设置分辨率，其他参数默认。看起来这样的动作就与原图很像了。

4、打开第二个controlnet并加入原图，设置模型为tile_resample，全部默认。这次就和原图更像了。

5、这里是关键一步，添加LORA模型：“blindbox_v1_mix”，权重选择1.25。现在生成的图片就比较像手办照片了。提示词里面也提前添加好了这个lora的唤醒咒语
“chibi,full body”。

在这里插入图片描述

6、开始放大图片分辨率，增加细节。将上图发送至图生图，选择面部修复（前面文生图时忘选了），放大4倍，重绘幅度为0.35，脚本选择终极SD放大，放大算法是R+A，接缝修复类型是H+i
。打开第一个controlnet并加入原图，设置模型为tile_resample，全部默认。打开第二个controlnet并加入原图，设置模型为reference_only，Style
Fidelity设置为0.7，其他全部默认。最终效果见下图，脸的效果还可以，手还是有点崩了。后续再进一步完善吧。

本次绘图的过程中出现了几次报错，结尾部分的提示内容是“modules.devices.NansException: A tensor with all
NaNs was produced in VAE. This could be because there’s not enough precision
to represent the picture. Try adding --no-half-vae commandline argument to fix
this. Use --disable-nan-check commandline argument to disable this check.”
这个问题的发生原因有待研究，通过在正向提示词中添加–no-half-vae可临时解决此问题。

本次绘图使用的外挂VAE模型是“Counterfeit-V2.5.vae”

文章使用的AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了，无需自行查找，有需要的小伙伴文末扫码自行获取。

针对各位AIGC初学者，这里列举了一条完整的学习计划，感兴趣的可以阅读看看，希望对你的学习之路有所帮助，废话不多说，进入正题：

目标应该是这样的：

第一阶段（30天）：AI-GPT从入门到深度应用

该阶段首先通过介绍AI-GPT从入门到深度应用目录结构让大家对GPT有一个简单的认识，同时知道为什么要学习GPT使用方法。然后我们会正式学习GPT深度玩法应用场景。

-----------

GPT的定义与概述
GPT与其他AI对比区别
GPT超强记忆力体验
万能GPT如何帮你解决一切问题？
GPT表达方式优化
GPT多类复杂应用场景解读
3步刨根问底获取终极方案
4步提高技巧-GPT高情商沟通
GPT深度玩法应用场景
GPT高级角色扮演-教学老师
GPT高级角色扮演-育儿专家
GPT高级角色扮演-职业顾问
GPT高级角色扮演-专业私人健身教练
GPT高级角色扮演-心理健康顾问
GPT高级角色扮演-程序UX/UI界面开发顾问
GPT高级角色扮演-产品经理
GPT高级技巧-游戏IP角色扮演
GPT高级技巧-文本冒险游戏引导
GPT实操练习-销售行业
GPT实操练习-菜谱推荐
GPT实操练习-美容护肤
GPT实操练习-知识问答
GPT实操练习-语言学习
GPT实操练习-科学减脂
GPT实操练习-情感咨询
GPT实操练习-私人医生
GPT实操练习-语言翻译
GPT实操练习-作业辅导
GPT实操练习-聊天陪伴
GPT实操练习-育儿建议
GPT实操练习-资产配置
GPT实操练习-教学课程编排
GPT实操练习-活动策划
GPT实操练习-法律顾问
GPT实操练习-旅游指南
GPT实操练习-编辑剧本
GPT实操练习-面试招聘
GPT实操练习-宠物护理和训练
GPT实操练习-吸睛爆款标题生成
GPT实操练习-自媒体爆款软件拆解
GPT实操练习-自媒体文章创作
GPT实操练习-高效写作推广方案
GPT实操练习-星座分析
GPT实操练习-原创音乐创作
GPT实操练习-起名/解梦/写诗/写情书/写小说
GPT提升工作效率-Word关键字词提取
GPT提升工作效率-Word翻译实现
GPT提升工作效率-Word自动填写、排版
GPT提升工作效率-Word自动纠错、建议
GPT提升工作效率-Word批量生产优质文章
GPT提升工作效率-Excel自动化实现数据计算、分析
GPT提升工作效率-Excel快速生成、拆分及合并实战
GPT提升工作效率-Excel生成复杂任务实战
GPT提升工作效率-Excel用Chat Excel让效率起飞
GPT提升工作效率–PPT文档内容读取实现
GPT提升工作效率–PPT快速批量调整PPT文档
GPT提升工作效率-文件批量创建、复制、移动等高效操作
GPT提升工作效率-文件遍历、搜索等高效操作
GPT提升工作效率-邮件自动发送
GPT提升工作效率-邮件自动回复
GPT接入QQ与QQ群实战
GPT接入微信与微信群实战
GPT接入QQ与VX多用户访问实战
GPT接入工具与脚本部署实战

第二阶段（30天）：AI-绘画进阶实战

该阶段我们正式进入AI-绘画进阶实战学习，首先通过了解AI绘画定义与概述，AI绘画的应用领域，PAI绘画与传统绘画的区别，AI绘画的工具分类介绍的基本概念，以及AI绘画工具Midjourney、Stable Diffusion的使用方法，还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。