Stable Diffusion【应用篇】【真人漫改】:实现可商用效果的真人漫改制作教程

【Stable Diffusion】Controlnet安装与14种用法 ControlNet:图像生成的精准控制技术 ControlNet是基于Stable Diffusion框架的创新神经网络技术,通过引入多种图像特征约束(如深度信息、边缘检测、姿态识别等),实现了对生成图像的高精度控制。该技术包含15个功能模块,涵盖从基础构图到动漫线稿等多种应用场景,提供灵活多样的图像生成解决方案。安装时需下载指定模型文件(约1.45GB/个)并放置于正确目录,确保系统能调用不同模块实现特定功能。ControlNet的模块化设计既提升了图像生成的表现力和可控性,也为创意设计、图像修复等应用 阅读详情

注:文章使用的AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,无需自行查找,有需要的小伙伴文末扫码自行获取。

所谓真人漫改,就是把一张真人的图片生成一张新的二次元的图片。在AI绘画中,这是一个非常常见的应用场景。关于真人漫改在之前进阶篇系列中分享过好几种制作方式,但是实现方式都比较简单,真人与对应的二次元效果图片不管是人物服装、背景元素、画面颜色等很难达到一致,今天分享一种基本可以实现商用交付的真人漫改制作方法,我们先来看真人漫改的效果图。

一. 真人漫改的制作方法

下面我们以下面这张图片的真人图片为例来讲解一下真人漫改的制作方法

【第一步】:大模型的选择

真人漫改需要生成二次元的图片,所以大模型需要选择二次元的大模型。

这里使用:AWPainting

【第二步】:提示词的编写

我们使用WD1.4标签器来获取图片的提示词信息。

通过WD1.4标签器插件获取的提示词为:

1girl, jewelry, solo, bracelet, hair ornament, hair flower, braid, flower,
earrings, long hair, necklace, navel, looking at viewer, realistic, breasts,
strapless, skirt, outdoors, midriff, blurry, bare shoulders, brown hair,
single braid, blurry background, tube top, medium breasts, parted lips, crop
top, brown eyes, pink skirt, black hair

因为我们需要真人漫改生成对应的二次元图片,我们要检查一下提示词,建议使用翻译软件把提示词翻译出来详细检查一遍,把不符合要求的提示词去掉,比如这里提示词realistic(逼真)就需要拿掉。有些图片反推的提示词有freckles(雀斑)、mole(痣)等影响人脸美观的关键词也可以拿掉。

正向提示词

Prompt :1girl, jewelry, solo, bracelet, hair ornament, hair flower,
braid, flower, earrings, long hair, necklace, navel, looking at viewer,
breasts, strapless, skirt, outdoors, midriff, blurry, bare shoulders, brown
hair, single braid, blurry background, tube top, medium breasts, parted
lips, crop top, brown eyes, pink skirt, black hair

提示词
:女孩,珠宝,独奏,手镯,发饰,发花,辫子,花,耳环,长发,项链,肚脐,看着观众,乳房,无肩带,裙子,户外,腹部,模糊,裸露的肩膀,棕色头发,单根辫子,模糊的背景,吊带上衣,中等胸部,分开的嘴唇,露脐上衣,棕色眼睛,粉色裙子,黑发

反向提示词

ng_deepnegative_v1_75t,(badhandv4:1.2),(worst quality:2),(low
quality:2),(normal quality:2),lowres,bad anatomy,(bad
hands),((monochrome)),((grayscale)) watermark,moles,many fingers,(broken
hands),nsfw,

相关参数设置

  • 采样器:DPM++ 2M Karras

  • 采样迭代步数:30

  • 图片宽高:512*768。

  • 提示词引导系数(CFG):7

【第三步】:ControlNet的设置

这里我们使用3个ControlNet单元。

ControlNet单元1 :Depth控制模型用于控制画面元素远近距离一致

相关参数设置如下:

  • 控制类型:选择"Depth(深度)"

  • 预处理器:depth_zoe

  • 模型:control_v11f1p_sd15_depth

  • 控制权重:1

  • 引导介入时机:0

  • 引导终止时机:1

ControlNet单元2 :Lineart控制模型用于控制画面线条的一致

相关参数设置如下:

  • 控制类型:选择"Lineart(线稿)"

  • 预处理器: lineart_realistic(用于识别真人图片的线条)

  • 模型:control_v11p_sd15_lineart

  • 控制权重:0.6 (真人照片与二次元照片在五官上会不匹配,这里适当降低ControlNet的控制权重)

  • 引导介入时机:0

  • 引导终止时机:1

ControlNet单元3 :tile控制模型用于控制画面颜色的一致

相关参数设置如下:

  • 控制类型:选择"Tile/Blur(分块/模糊)"

  • 预处理器: tile_colorfix(用于分块固定图片的颜色)

  • 模型:control_v11f1e_sd15_tile

  • 控制权重:1

  • 引导介入时机:0

  • 引导终止时机:1

【第四步】图片的生成

点击【生成】按钮,我们来看一下最终生成的图片效果。

原真人图片

二次元图片

二. 相关说明

(1)关于大模型的选择,可以选择各种不同风格的二次元大模型进行尝试。

(2)本示例中使用了3个ControlNet控制模型:

  • Depth控制模型控制图片的远近距离

  • Lineart控制模型控制图片的整体线条

  • Tile模型控制图片的颜色。

由于Tile模型具有改变图片细节的效果,在本示例中二次元图片背景元素是树叶,会适当丰富一下图片的背景元素信息。

(3)该制作方法在细节处还有待完善,比如美女佩戴的耳环,生成的二次元图片效果款式和颜色都还没有达到一致。

好了,今天的分享就到这里了,希望今天分享的内容对大家有所帮助。
文章使用的AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,无需自行查找,有需要的小伙伴文末扫码自行获取。

如何训练LorA

对于很多刚学习AI绘画的小伙伴而言,想要提升、学习新技能,往往是自己摸索成长,不成体系的学习效果低效漫长且无助。

如果你苦于没有一份Lora模型训练学习系统完整的学习资料,这份网易的《Stable Diffusion LoRA模型训练指南》电子书,尽管拿去好了。

包知识脉络 + 诸多细节。节省大家在网上搜索资料的时间来学习,也可以分享给身边好友一起学习。

由于内容过多,下面以截图展示目录及部分内容,完整文档领取方式点击下方微信卡片,即可免费获取!

img

img

img

篇幅有限,这里就不一一展示了,有需要的朋友可以点击下方的卡片进行领取!
在这里插入图片描述

Innovus每日精要 | 用setScanReorderMode优化扫描链,效率翻倍! 在数字后端物理设计的世界里,扫描链优化就像修路一样,既要保证数据流的顺畅,又要尽量减少绕路和资源浪费。它的主要任务是优化扫描链的连接方式,确保数据能快速、安全地流动。无论是多电压域设计、分区设计,还是复杂的逻辑门,它都能帮你搞定。后,你会发现它不仅能帮你节省时间,还能让你的设计更优雅、更高效。下次遇到扫描链问题时,不妨试试这些技巧,说不定你的设计效率会翻倍!,它能帮你搞定扫描链优化的那些事儿,让你的设计更高效、更优雅。接下来,我们看看这个命令的几个关键选项,以及它们的实际用途。扫描链优化看似枯燥,但掌握。 阅读详情

相关推荐

近几年预训练语音大模型汇总

语音大模型研究近年来取得显著进展,主要包括wav2vec 2.0(2020)、HuBERT(2021)、WavLM(2022)、Data2Vec(2022)、Whisper(2023)等代表性工作。这些模型采用自监督学习框架,通过掩码预测、对比学习等策略在大规模语音数据上预训练,可有效应用于语音识别、情感分析、疾病检测等下游任务。其中wav2vec 2.0首次将对比学习引入语音领域,Whisper通过68万小时弱监督数据实现强大的跨语言能力。这些突破为低资源语音任务提供了通用特征提取方案,推动了医疗语音分析

victory0431的博客 1783

ControlNet 1.1重磅发布,14个模型全部开源!

模型效果: ControlNet 1.1 中的新功能:现在我们添加了一种名为“SoftEdge_safe”的新型软边缘。这是因为 HED 或 PIDI 倾向于在软估计中隐藏原始图像的损坏灰度版本,而这种隐藏模式会分散 ControlNet 的注意力,从而导致不良结果。ControlNet 1.1 与 ControlNet 1.0 具有完全相同的体系结构,ControlNet 1.1 包括所有以前的模型,具有改进的稳健性和结果质量,并添加了几个新模型。

张伟的专栏 5483

02.Palantir Foundry平台功能和应用全景图

本文深入解析 Palantir Foundry 平台核心功能与应用全景。

697

【AI绘画】ControlNet:一文搞懂Stable Diffusion最重要的插件

大家好,我是SD教程菌。当你使用 Stable diffusion 生成图像时,是否有过这种经历?提示词内容在生成结果中似乎都体现出来了,但又总不是自己想要的样子,于是陷入到无限生成(抽卡)的状态,耗费大量时间,逐渐消磨兴趣、耐性及对SD的信任。同样的文字,不同的人理解会不同,想象的画面也各不一样,机器当然也是如此,最好的办法就是“用图表达”。给SD一张参考图,让SD充分理解你的想法。俗话说,一张图胜过千言万语。

2401_86895074的博客 4311

Transformer模型在语义通信中的实战应用:从信源编码到端到端优化

本文深入探讨了Transformer模型在语义通信中的实战应用,从信源编码到端到端优化。文章分析了Transformer凭借其强大的全局依赖建模能力,如何成为实现高效语义提取与传输的理想架构,并提供了构建可端到端训练系统的具体实现思路与评估方法,旨在为下一代智能通信系统提供技术参考。

o9p0q1的博客 695

Groq LPU架构解析:确定性线性处理器如何重塑AI推理

语言模型推理正从‘通用算力堆叠’转向‘确定性硬件定制’。LPU(Language Processing Unit)作为一种面向大模型推理的领域专用处理器,摒弃传统GPU的并行调度、多级缓存与动态执行范式,转而采用空间计算、静态编译与单线程线性流水线设计,实现纳秒级延迟可控性和92%+的HBM带宽利用率。其核心价值在于将模型结构、内存访问、时序路径全部在编译期固化,从而消除运行时抖动——这正是当前MLOps工程师应对A100显存碎片、vLLM调度开销与P99延迟不稳等痛点的关键技术路径。Groq 3 LPU与

weixin_30599521的博客 330

Stable Diffusion基础:ControlNet之线稿成图

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。​AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

程序员小麦的博客 3132

搭建AutoSAR开发环境

任何开发都需要一套开发环境,包括软硬件环境,笔者后续将介绍的是 NXP 的 S32K144 配套的开发板。接下来详细介绍怎么获取这些软硬件工具。仅供个人学习使用!

cfl927096306的博客 6114

Stable Diffusion【真人漫改】实现可商用效果的真人漫改制作教程

所谓真人漫改,就是把一张真人的图片生成一张新的[二次元]的图片。在AI绘画中,这是一个非常常见的应用场景。关于真人漫改在之前进阶篇系列中分享过好几种制作方式,但是实现方式都比较简单,真人与对应的二次元效果图片不管是人物服装、背景元素、画面颜色等很难达到一致,今天分享一种基本可以实现商用交付的真人漫改制作方法,我们先来看真人漫改的效果图。

Android 开发架构 973

Headless Browser 反检测:如何在自动化测试和爬虫中模拟真实用户环境和指纹,以规避检测?

这是最基本的操作,你需要将 Headless Browser 的 User-Agent 修改成一个真实的 User-Agent。我是你们的老朋友,代码界的段子手,今天咱们来聊聊一个让爬虫工程师和自动化测试工程师头疼,但又不得不面对的问题:Headless Browser 的反检测。Headless Browser 的反检测是一个持续对抗的过程,网站的反爬虫机制会不断升级,你需要不断地学习新的反检测技巧。以上只是一些基本的反检测手段,如果你的目标网站的反爬虫机制比较高级,那么你需要使用更高级的技巧。

weixin_41455464的博客 1657

如何使用PostgreSQL数据库进行数据仓库的ETL操作

本文旨在为数据工程师、数据库管理员和分析师提供使用PostgreSQL进行数据仓库ETL操作的全面指南。ETL流程的基本原理PostgreSQL在ETL中的独特优势实际ETL实现的技术细节性能优化和最佳实践常见问题的解决方案首先介绍ETL和PostgreSQL的基本概念然后深入探讨核心技术和实现方法接着提供实际案例和代码示例最后讨论优化技巧和未来趋势ETL:提取(Extract)、转换(Transform)、加载(Load)的缩写,描述数据从源系统移动到目标数据仓库的过程。

2502_91592937的博客 874

AI绘画 Stable Diffusion【真人漫改】:实现可商用效果的真人漫改制作教程

因为我们需要真人漫改生成对应的二次元图片,我们要检查一下提示词,建议使用翻译软件把提示词翻译出来详细检查一遍,把不符合要求的提示词去掉,比如这里提示词realistic(逼真)就需要拿掉。当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

A1353192296的博客 1756

Deepfake检测模型-PyDeepFakeDet项目复现实验报告-深度学习

该实验是对于https://github.com/wangjk666/PyDeepFakeDet模型的复现。PyDeepFakeDet 是一款集成的、可扩展的 Deepfake 检测工具。目标是提供最先进的 Deepfake 检测模型以及用于在常用 Deepfake 数据集上训练和评估新模型的接口。

一位不是很硕的鉴伪方向硕士 5495
上一篇: Stable Diffusion【真人模型】:SD1.5人像模型新高度,超级逼真的AI真人模型:AWPortaint
下一篇: Stable Diffusion【应用篇】【艺术写真】:AI写真看过来,使用InstantID插件实现AI写真
网络安全-XG
博客等级 码龄5年 1万+粉丝 2752原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值