AI助力突破次元壁，Ta的现实样子居然是这样～～

最新推荐文章于 2025-02-18 11:44:37 发布

原创最新推荐文章于 2025-02-18 11:44:37 发布 · 1.3k 阅读

CC 4.0 BY-SA版权

文章标签：

#人工智能 #AI作画 #stable diffusion #AIGC #SD插件分享

今天，我们要探讨一个AI技术中极为普遍的应用：真人到动漫的转换，或者反过来，从动漫到真人的转换。我之所以将它们视为一类应用，是因为它们背后的转换原理是相似的。进一步地，这种技术还可以拓展到2D到2.5D的转换，真人到赛博朋克风格的转换，甚至是利用AI对照片进行美化或重绘等领域。关键在于理解AI进行风格转换的基本思路。

突破次元-动漫转真人

我们经常看到许多动漫角色、游戏角色，甚至QQ头像，现在都可以通过技术转变成真人形象。这样做可以让我们一窥他们在现实世界（三次元）中的模样。

王者荣耀系列

我不放原图，大家应该都能看出来是谁吧？

伽罗

露娜

瑶

QQ经典头像系列

我相信，对于那些长期使用QQ这款即时通讯软件的用户来说，这批头像一定不会陌生。这些头像曾是我们日常沟通中的一抹亮色，陪伴着我们度过无数个在线交流的时刻，它们不仅仅是简单的图片，更是我们回忆中的一部分。

实现方式

提示词

在任何风格转换的过程中，使用提示词是必不可少的。这些提示词帮助AI更准确地理解你提供的原始图像，从而确保后续绘图操作的质量和效果。在这里，我想特别推荐一个在Stable Diffusion中使用的反推提示词插件，名为“stable-diffusion-webui-wd14-tagger”。通过这个插件，我们可以反推出原始图像的提示词。一旦我们获得了这些提示词，就可以根据实际情况进行必要的微调和优化。

在线使用

有开发者贴心的提供了在线使用方式，即只要我们访问页面，提供原图，即可在线反推提示词 https://huggingface.co/spaces/SmilingWolf/wd-tagger

补充提示词

我们接下来将以《火影忍者》中的角色小樱为原始图像，进行动漫转真人的操作。

1girl, haruno sakura, pink hair, solo, green eyes, looking at viewer, outdoors, sky, day, blue sky, sleeveless, short hair, closed mouth, forehead protector, upper body, cloud, blurry background, headband, red shirt, blurry, konohagakure symbol, shirt, bare shoulders

女孩，春野樱，粉色头发，独奏，绿眼睛，看着观众，户外，天空，白天，蓝天，无袖，短发，闭着嘴，额头保护器，上身，云，模糊的背景，发带，红衬衫，模糊的，河滨符号，衬衫，裸露的肩膀

为了获得最佳的图像质量，我们可以在正向提示词中添加“best quality, masterpiece”这样的画质提示。这些词汇指导AI生成尽可能高质量和精细的图像。如果追求更完美的效果，可以继续添加更多关于画风和画质的具体提示词。同时，结合通用的基础负向提示词，可以帮助AI更好地理解您不希望出现在图像中的元素或风格。这样，我们就能够构建出一个完整且有效的提示词组合，用于指导AI进行风格转换。

正向提示词：best quality,masterpiece, 1girl, haruno sakura, pink hair, solo, green eyes, looking at viewer, outdoors, sky, day, blue sky, sleeveless, short hair, closed mouth, forehead protector, upper body, cloud, blurry background, headband, red shirt, blurry, konohagakure symbol, shirt, bare shoulders

负向提示词：nsfw,logo,text,badhandv4,EasyNegative,ng_deepnegative_v1_75t,rev2-badprompt,verybadimagenegative_v1.3,negative_hand-neg,mutated hands and fingers,poorly drawn face,extra limb,missing limb,disconnected limbs,malformed hands,ugly,

模型选择

模型的挑选应当基于实际的应用场景。例如，若任务是将真人形象转换成动漫风格，那么在挑选模型时，应当优先考虑动漫风格的大型模型。同理，如果需要进行从动漫到真人的转换，真人大模型则是更合适的选择。更进一步，如果对画风有特殊要求，比如需要赛博朋克风格，那么可能还需要使用特定画风的LORA微调模型来满足这一需求。

实际操作-图生图

使用Stable Diffusion的基础图生图模式，其实就已经能实现风格转换了，我们以火影忍者的小樱为原图试一下

参数

在图生图的参数设置过程中，关键的配置包括采样方法、迭代步数、重绘尺寸、重绘幅度，以及是否启用ADetailer修脸功能。其中，重绘幅度尤为关键。较高的重绘幅度意味着AI有更多的自由度，可能导致生成图像与原图差异较大；而较低的重绘幅度则会使AI的发挥空间受限，生成的图像更接近原图。因此，在使用图生图进行风格转换时，找到合适的重绘幅度是至关重要的。

接下来，我会展示我使用图生图生成的结果。

nice，还是非常不错的哦。

进一步发挥AI的优势-ControlNet文生图

图生图技术的主要挑战在于如何精确地调整重绘幅度，同时，我们很难在细节层面上进行精细控制，这通常导致生成的图像要么过于贴近原图，要么与原图相差甚远。然而，Stable Diffusion模型的优势在于其ControlNet控图功能，这一功能使得生成的图像在保留原图细节方面表现卓越。因此，我们将进一步探讨如何利用ControlNet进行文生图的创作。

controlNet 控制类型

使用ControlNet插件的关键在于其多种控制类型。为了更好地理解这些控制类型的效果，我会对其中一些常用的类型进行预处理，并展示处理结果。通过观察这些处理效果，您将能够更清晰地了解ControlNet的强大功能。

Canny（硬边缘）：计算画面的硬边缘效果，常用于描边

Depth（深度）：计算画面深度信息，常用于表现前后层次关系

OpenPose（姿态）：计算人物姿态，姿态可手动调整固定，常用于调整人物姿态

Lineart（线稿）：计算线稿信息，线稿的预处理器又包含写实线稿提取、动漫线稿提取和去噪动漫线稿提取，分别得到不同的线稿效果

SoftEdge（软边缘）：极端画面的软边缘效果，相对于硬边缘，提供更加模糊的边缘效果

Tile/Blur（分块/模糊）：将画面分成小块并模糊

对于风格转换，ControlNet提供了多种控制类型。虽然文字描述可能显得有些抽象，但亲自尝试这些控制类型会更有助于理解它们的效果。通过实际操作，您可以探索哪种控制类型最适合您的需求。在我的经验中，分块模糊、线稿和深度控制是使用频率较高的几种类型。我会根据原图的具体情况来调整这些控制类型，并且ControlNet支持同时使用多个控制类型。因此，我会尽量多尝试不同的组合，以找到最合适的控制方案。在这个例子中，我使用了“Tile/Blur”控制类型来进行控图出图。这种类型的优势在于它能够有效地模糊图像的特定部分，同时保留其他部分的细节，从而实现一种独特的视觉效果。

controlNet 控制参数

对于其他参数的调整，关键还是要根据实际情况来定。由于每张图像的特点和需求都可能不同，因此通常需要对参数进行相应的微调。尽管如此，大部分情况下，这些调整会有一定的相似性。

通常，我在调整参数时主要关注以下三个方面：在使用ControlNet进行图像处理时，以下三个参数是关键：

控制权重：这个参数决定了ControlNet在整体画面控制中的影响力大小。如果发现控制效果过于强烈，可以适当降低权重，以减少其影响。
引导介入时机：这个参数决定了ControlNet在图像生成过程中的哪个阶段开始发挥作用。选择合适的介入时机对于获得理想的图像效果至关重要。
引导终止时机：这个参数决定了ControlNet在图像生成过程中的哪个阶段停止作用。合理的终止时机同样对图像的最终效果有着重要影响。至于其他参数，如是否启用ADetailer等，应根据个人需求和图像的具体情况来决定。这些额外的调整可以帮助您更精细地控制图像的生成过程，以达到预期的效果。

下一节，将会把上面的动作，融合进comfyUI工作流，可以省去很多繁琐的操作，基本可以做到一件生成，也会介绍这中操作的变现方式，关注我，持续更新哦。
AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了，有需要的小伙伴文末扫码自行获取。

写在最后

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。