了解AI绘图,Stable Diffusion的使用

hikvision SDK使用学习/实践 【代码】hikvision SDK使用学习以及自己。 阅读详情
AI摘要

本文详细介绍了AI绘图工具Stable Diffusion的安装、配置及使用方法。首先列出了个人电脑配置建议,然后详细说明了安装Python和Git的步骤,以及如何下载和启动Stable Diffusion。接着,文章深入讲解了Stable Diffusion用户界面的功能,包括汉化、界面功能、AI绘图原理、采样方法、多样性、采样步数、长宽尺寸、生成批次、CFG和随机种子等关键参数的设置。最后,提供了Prompt格式优化的规则和细节,帮助用户更好地生成所需的图像。

AI绘图对GPU算力要求较高。

个人电脑配置可参考:
CPU:14600kf 盒装
显卡:RTX 4080金属大师 OC,16G显存
主板:z790吹雪d4
内存:芝奇皇家戟4000c18,16×2G
硬盘:宏基gm7000 1T
散热:追风者冰灵
电源:酷冷至尊850w sfx
机箱:包豪斯mini
风扇:联力积木一代 两把140 七把120

文章参考链接:https://blog.youkuaiyun.com/libaiup/article/details/136478141


一.Stable Diffusion的安装

前置条件,需安装python3.10.6和Git版本管理工具:

1.安装 Python 3.10.6 ,链接:Python Release Python 3.10.6 | Python.org

Windows installer (64-bit)WindowsRecommended8f46453e68ef38e5544a76d84df3994c27.6 MBSIG

2.安装Git,链接:Git - Downloading Package

64-bit Git for Windows Setup.


GitHub开源地址:https://github.com/AUTOMATIC1111/stable-diffusion-webui 这个由于墙的问题,下载非常慢。可以了解一下原仓库。

秋叶整合包教程:https://www.bilibili.com/video/BV1ne4y1V7QU 

启动前需要注意:AMD的显卡,HIP SDK需下载并安装5.7.1版本,高版本可能不兼容。

HIP SDK官网链接:AMD HIP SDK for Windows

安装后重启电脑。APP启动器一键启动后,会直接拉起本地浏览器,进入http://127.0.0.1:7860/页面。第一次启动过程可能会继续下载启动需要的依赖库,下载好后可进入。


二.Stable Diffusion用户界面

汉化

1.方式一,插件单独下载,并放入extensions文件夹下:https://github.com/VinsonLaro/stable-diffusion-webui-chinese

2.方式二,WebUi界面下载安装(推荐),"Extensions"、"Install from URL"、输入框https://github.com/VinsonLaro/stable-diffusion-webui-chinese、"Install"、"Apply and restart UI"

双语配置(中英合用)"Settings"、"User interface"、"Localization (requires restart)“,选择"Chinese-All"或者"Chinese-English”"Apply settings"、"Reload UI"


界面功能

文生图:文本提示生成图像
图生图:图像作为范本、结合文本提示生成图像
更多:优化图像
图片信息:显示图像的提示词及模型信息
模型合并:将已有的模型,通过修改后合并生成新模型
训练:将提供的图片,训练出具有某种图像风格的模型

AI绘图原理:根据不同的提示词及参数的约束,给到大模型算法训练,出图的过程由模糊到清晰。提示词分2种:正面提示词(Prompt)、负面提示词(Negative Prompt),提示词直接使用英文逗号隔开,最后一个提示词需注意也用英文逗号
正面提示词(Prompt):期望描述生成的内容,通常在75个英文词汇以内,描述少就给AI更多自由发挥空间。
负面提示词(Negative Prompt):不想让SD生成的内容。
正面提示词,常规使用:masterpiece, best quality, 表示杰作、高质量。
负面提示词,常规使用:nsfw, lowres, bad anatomy, bad hands, text, error, missing fingers,extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, 表示不适用于公开场合的描述,以及一些低质量的通用诟病内容统一限制。

常用图标,从左到右

1.复原上次生成图片的提示词

2.清空当前所有提示词

3.打开模型选择界面

4.应用选择的风格模板,自动生成提示词

5.存档当前的正反向提示词

采样方法,大模型算法分类

不考虑渲染速度,从图片输出品质的角度,可将采样算法分为:收敛及不收敛2类。收敛可理解为生成图像较保守、大众化的,不收敛可理解为多样性、创造性更强,质量或好或坏,不稳定,像开盲盒。

采样方法的选择

通过选择合适的采样方法,可以显著提升Stable Diffusion在写实或二次元渲染方面的表现。

采样方法很多都已过时,下面提供最新的几个常用且高效的采样方法:

1.写实图,最推荐的采样算法:DPM++ SDE Karras,特点:不收敛、高品质、速度快。

2.二次元图,最推荐的采样算法:DPM++ 2M Karras,特点:收敛、速度快、质量OK。

DPM++ 2M SDE Karras: 2M于SDE算法的折中算法,不收敛、速度有所提升。

DPM++ 2M SDE Exponential(同DPM++ 2M SDE Karras):指数算法不收敛、细节少一些、画面更柔和、干净

DPM++ 3M SDE Karras、DPM++ 3M SDE Exponential:速度和2M一样,需要更多的采样步数,调低CFG,采样步数>30效果更好

UniPC:2023新算法,统一预测矫正器、兼容性很好、收敛、10步左右就能生成可用画面。

Restart:每步渲染时间长一些,但只需要很少的采样步数,就能生成质量相当不错的图片。

Euler:经典ODE采样器,简单直接、不容易出错、中规中矩、收敛。

Euler a:Euler祖先采样器,收敛。

多样性

eta和sigma都是多样性相关的,但是它们的多样性来自步数的变化,追求更大多样性的话应该关注seed的变化,这两项参数应该是在图片框架被选定后,再在此基础上做微调时使用的参数。

采样步数
稳定扩散通过从充满噪音的画布开始创建图像,并逐渐去噪以达到最终输出。此参数控制这些去噪步骤的数量。通常越高越好,但在一定程度上,我们使用的默认值是25个步骤。下面有几个使用场景的采样步数值。

1.测试快速输出,采样步数10-15

2.确定当前的提示词,采样步数25

3.如果是有毛皮的动物或有纹理的主题,生成的图像缺少一些细节,采样步数40

面部修复:修复人物面部,注:非写实类的人物开启时可能导致面部变形。
平铺:生成一张可以平铺的图像
高分辨率重绘:小分辨率创建图像,不改变构图情况下进行细节改进,这里需要用到放大算法、放大倍数以及重回幅度。
放大算法:Latent 在许多情况下效果不错,但重绘幅度小于 0.5 后就不甚理想。ESRGAN_4x、SwinR 4x 对 0.5 以下的重绘幅度有较好支持。
放大倍数: 通常2倍即可
重绘幅度:

阈值推荐:0.3~0.7。决定算法对图像内容的保留程度。该值越高,放大后图像就比放大前图像差别越大。一般来讲阈值是 0.7 左右,超过 0.7 和原图基本上无关,0.3 以下就是稍微改一些,0什么都不会改变,1会得到一个完全不同的图像。具体的执行步骤为 重绘强度 * 重绘步数。

长宽尺寸(分辨率)
最佳的范围应在512至768像素之间。正方形图:512*512和768*768,人像肖像: 512x768,风景画 768×512,可按比例加大或减小,这个值必须是 8 的倍数。如果不希望主题对象出现重复,应在此范围内选择适当的尺寸。如果需要更高分辨率的图片,建议先使用SD模型生成图片,然后再使用合适的模型进行upscale。

生成批次:每次生成图像的组数。一次运行生成图像的数量为生成批次 * 每批数量。
每批数量:同时生成多少个图像。增加这个值可以提高性能,但你也需要更多的 VRAM。图像总数是这个值乘以批次数。

提示词相关性CFG:较高的数值将提高生成结果与提示的匹配度。
OpenArt上使用的默认CFG是7,这在创造力和生成你想要的东西之间提供了最佳平衡。通常不建议低于5。
CFG量表可以分为不同的范围,每个范围都适合不同的提示类型和目标
CFG 2 – 6:有创意,但可能太扭曲,没有遵循提示。对于简短的提示来说,可以很有趣和有用
CFG 710:推荐用于大多数提示。创造力和引导一代之间的良好平衡
CFG 10-15:当您确定您的提示是详细且非常清晰的,您希望图像是什么样子时
CFG 16-20:除非提示非常详细,否则通常不推荐。可能影响一致性和质量
CFG >20:几乎无法使用

随机种子(Seed):生成每张图片时的随机种子,这个种子是用来作为确定扩散初始状态的基础。

提示词生成

Prompt格式优化

第一段:画质tag,画风tag
第二段:画面主体,主体强调,主体细节概括(主体可以是人、事、物、景)画面核心内容。一般提供人数,人物主要特征,主要动作(一般置于人物之前),物体主要特征,主景或景色框架等
第三段:画面场景细节,或人物细节,embedding tag。画面细节内容

举个例子
(具体场景还是要灵活应用,多尝试,找到合适自己的节奏和风格)
第一段:masterpiece, best quality, 4k, ( Pixar - style :1.4)
第二段:1boy,(Cute,handsome,wearing outdoor sportswear :0.7), 3D,(Face close-up :1.2), (at night, surrounded by glowing plants, flowers, flying fireflies, bonfires), (Ultra detailed, aesthetic, beautiful composition, rich bright colors, volumetric soft light).
第三段:Inspired by Alice in Wonderland, magic, fairy tales. unreal Engine, octane render, cuteness render, awe inspiring, beautiful, lora:blindbox\_V1Mix:1

Prompt规则细节

1. 越靠前的Tag权重越大。
2. 生成图片的大小会影响Prompt的效果,图片越大需要的Prompt越多,不然Prompt会相互污染。
3.Stable-diffusion中,可以使用括号人工修改提示词的权重,方法如下:
(word) - 将权重提高 1.1 倍
((word)) - 将权重提高 1.21 倍(= 1.1 * 1.1)
[word] - 将权重降低至原先的 90.91%
(word:1.5) - 将权重提高 1.5 倍
(word:0.25) - 将权重减少为原先的 25%
请注意,权重值最好不要超过 1.5

4. Prompt支持使用emoji,可通过添加emoji达到表现效果。如 形容表情, 可修手。
5.“+” , “ AND” , “|” 用法:“+”和“ AND ”都是用于连接短Tag,但AND两端要加空格。"+“约等于” and ";“|” 为循环绘制符号(融合符号)(Prompt A: w1)|(Prompt B: w2)
以上表达适用于WebUI,w1、w2为权重。AI会对A、 B两Prompt进行循环绘制。可往后无限加入Prompt。
6.tag不一定是多么充满细节,只要模型稳定。小图+高分辨率重绘。800*400的图变成1600*800,初识小图减少崩坏概率。
7.关键词最好具有特异性,譬如 Anime(动漫)一词就相对泛化,而Jojo一词就能清晰地指向 Jojo动漫的画风。措辞越不抽象越好,尽可能避免留下解释空间的措辞。

AI 绘画Stable Diffusion 研究(七) 一文读懂 Stable Diffusion 工作原理 大家都经常听到有人说,Stable Diffusion是一种潜在扩散模型(Diffusion Models)。那我们先弄明白什么是扩散模型?为什么叫扩散模型呢?因为它的数学公式看起来非常像物理上的扩散现象。 阅读详情

相关推荐

轻松实现本地AI绘图,Stable Diffusion部署全攻略

作为一款优秀的AI绘图软件,Stable Diffusion为我们提供了丰富的创作手段和无限的想象空间。随着技术的不断发展,我们期待Stable Diffusion能够带来更多的惊喜和突破,为AI绘图领域注入更多的活力与创新。开启你的AI绘图之旅!其次,硬件方面,为了保证Stable Diffusion的流畅运行,建议配置一台具备NVIDIA显卡的电脑,显存至少4GB以上。其中,Stable Diffusion作为一款开源的AI绘图软件,凭借其出色的效果和易用性,受到了广泛关注。

学海无涯苦作舟的博客 2500

【AMD ROCm】windows 系统安装AMD ROCm步骤

windows 安装AMD ROCm 官方文章: https://rocm.docs.amd.com/en/docs-5.7.1/deploy/windows/quick_start.html。HIP SDK:运行时和附加组件引用Math libraries和c++ Primitive libraries下的库。下载地址:https://www.amd.com/en/developer/rocm-hub/hip-sdk.html。运行时:运行时只允许使用HIP/OpenCL运行时。先去下载HIP SDK。

买榴莲也用券的博客 1万+

AI绘图开源工具Stable Diffusion WebUI前端API调用

的基本介绍安装及API环境配置文生图、图生图、局部重绘、后期处理等API接口调用图像处理开发中常用到一些方法如Base64PNGCanvas及URL相互转换、Canvas颜色转换等想了解其他前端知识或其他未在本文中详细描述的AI相关开发技术相关知识,可阅读我往期的文章。如果有疑问可以在评论中留言,如果觉得文章对你有帮助,不要忘了一键三连哦??。感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

web13688565871的博客 2417

AMD 显卡笔记本windows11满血玩转Stable Diffusion

电脑配置:AMD Ryzen R7 6800H,16G内存,核显Radeon 680M,共享内存8G。测试了direct-ml版,还是zluda版本速度快,大概是direct-ml版本的5倍以上。以下正文。

SayForLin的博客 8513

AMD芯片使用Stable-Diffusion

AMD芯片使用Stable-Diffusion

小新没有蜡笔的博客 5050

AI绘图大模型 Stable Diffusion 使用详解

Stable Diffusion 是基于扩散模型(Diffusion Model)的图像生成工具。它通过逐渐从噪声图像中反向还原得到清晰的图像,与传统 GAN(生成对抗网络)不同,扩散模型能提供更高的生成质量和细节控制。高质量的图像生成:能够生成高分辨率、细节丰富的图像。灵活的文本-图像生成:根据输入的自然语言描述生成图像。开源与可扩展:完全开源,支持用户自定义模型和数据集训练。Stable Diffusion 的核心功能是通过文本生成图像。

专注AI大模型,软件混淆,授权 1962

如何用AMD显卡部署模型/进行推理

如何是用A卡进行部署、推理

m0_68784427的博客 6774

AI绘图cuda与stable diffusion安装部署始末与避坑

stable diffusion的安装与部署中遇到的问题和解决方案,尤其是cuda的安装遇到的问题

河西~石头 5078

AMD ROCm™ 安装指南

AMD ROCm™ 是第一个面向 HPC/超大规模级 GPU 计算的开源软件开发平台。AMD ROCm™ 将 UNIX 的选择权、极简主义和模块化软件开发哲学引入 GPU 计算领域。有关更多信息,请参阅 AMD 的和页面。关于 ROCm 安装的更详细信息,请访问页面。在没有明确理解相关组件和安装流程的情况下,安装 AMD ROCm™ 软件包可能会遇到困难。本文将介绍如何在支持 AMD GFX9 架构的 AMD GPU 卡的工作站上安装 ROCm。

数字人生 1万+

Stable Diffusion 简单了解一下

Stable Diffusion = 你的 AI 画师,懂文字,画得好,还能开源跑在家里。“Diffusion” 在英文中的本义是:某种物质从浓度高的地方,逐渐向浓度低的地方蔓延、散开。香水喷在空气中慢慢散开热水中的糖慢慢溶解并扩散到整杯水中它代表的是一个从有序到无序从集中到分散的自然过程。项目含义说明Diffusion 原意从浓到稀,从集中到分散的过程(如气味、热)在 AI 中把图片加噪声 → 模型学会如何从噪声中恢复图像为什么叫扩散模型模型模拟了“扩散 + 去扩散”的数学过程生成过程。

waterHBO的博客 1201

记录 AI绘图 Stable Diffusion的本地安装使用

Stable Diffusion 是一个开源的工具,我们可以用文字来描绘 并将文字发给它,它就能帮我们生成对应的图片,同时它还支持图生图功能

weixin_46028831的博客 902

AI绘图最强软件stable diffusion,一文带你迅速了解!

1.用来指代稳定扩散(Stable Diffusion) 技术,如 Midjourney是基于Stable Difusion技术实现的就是指它运用了 Stable Diffusion 的技术原理。

2401_84815887的博客 1007

学AI绘图【300集SD新课】--Stable Diffusion教程

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。​AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

程序员小麦的博客 1185

这10款类似Stable Diffusion的ai绘图软件,你了解多少?

这10款类似Stable Diffusion的ai绘图软件,你了解多少?

XDEMO_的博客 2649

椭圆曲线点加的推导公式(一)

椭圆曲线点加推导过程

qq_32100199的博客 1515

【UE5 C++开发指南】从零配置Visual Studio 2022开发环境

本文详细指导如何从零开始为UE5 C++开发配置Visual Studio 2022环境。文章强调了VS2022与UE5的深度兼容性,并逐步讲解了社区版下载、核心工作负载(如“使用C++的游戏开发”)与组件安装、界面优化、专属工具设置以及首个C++项目的创建与验证流程,帮助开发者高效搭建专业开发环境。

weixin_29016865的博客 392

刚刚!Stable diffusion 2024升级版来了!(无需安装,解压即用)

要说AI绘画圈最出圈的工具那妥妥的就Stable diffusion这不SD2024全新升级加强版来咯!不仅生成图片还能生成视频\数字人等而且无需安装**,直接解压就能用**本菌还特意为大家准备了Stable Diffusion 人工智能PS插件▼【软件介绍】Stable Diffusion****人工智能神器包括V4中文独立版+PS插件版含保姆级安装教程&使用教程让大家轻松上手无压力!

z19981的博客 319

从零打造音乐会级特雷门琴:原理、设计与调试全解析

电子乐器的工作原理通常基于信号生成与调制。特雷门琴作为世界上最早的电子乐器之一,其核心原理是利用射频振荡器和电容传感,将演奏者的手势变化转化为音高与音量信号。这种技术通过外差式混频实现音高控制,并利用压控放大器实现细腻的音量动态,其工程价值在于将抽象的空间位置信息精确映射为连续的音频参数。在音乐制作、声音艺术和交互装置等领域,这类技术为创造独特的演奏体验提供了基础。本文聚焦于如何从电路层面实现一台高稳定性的特雷门琴,详细阐述了从LC振荡器设计、天线场形优化到音色混合检波等关键环节,并分享了基于LTspice

weixin_34046298的博客 170

Stable Diffusion 核心技术解读,让你秒懂的 AI 绘图模型

虽然我很早就开始使用 Stable Diffusion了,但基本是浅尝辄止:搭建好本地环境,画了一些图片图,然后看了下 API 接口,并接入到了 GeekAI 创作助手,然后。。。就没有然后了。我平常的工作也很少用到 AI 绘图,偶然要用的话一般也用 MidJourney 解决。 上周,为了满足工作需求,我尝试用ComfyUI创建AI换装流程,并设置了本地运行环境。然而,我发现ComfyUI比之前用过的Stable Diffusion WebUI复杂。后者操作简单,只需输入提示、选模型、调参数就能生成图片

libaiup的博客 2167

百度文心大模型ERNIE全面解析

文章摘要:本文汇总了多个Python自然语言处理(NLP)工具库的应用实例,涵盖百度文心大模型ERNIE、Hugging Face Transformers、StanfordNLP、SymSpell等主流框架。内容涉及文本预处理、情感分析、命名实体识别、机器翻译、文本纠错等典型NLP任务,并包含ERNIE-Lite、BART、T5等模型的调用示例。各工具库的特色功能包括:ERNIE的知识增强技术、Transformers的多任务统一接口、SymSpell的高效拼写纠正等。文章还提供了知识图谱构建、Rasa对

keny-大成的博客 2526

LightTools手动创建菲涅尔透镜的5个实用技巧(附详细步骤图)

本文详细介绍了在LightTools中手动创建菲涅尔透镜的5个核心技巧,包括理解旋转体与折线原理、高效构建多齿轮廓、编辑优化、坐标系定位以及属性设置与验证。通过分步图解和实用策略,帮助用户突破内置工具限制,实现对非标准齿形和复杂光学设计的完全掌控,提升建模精度与仿真效率。

onion的博客 774

浅谈【Stable-Diffusion WEBUI】(AI绘图)的基础和使用

稳定扩散(Stable Diffusion)原名是潜扩散模型(Latent Diffusion Model, LDM)……我只想用AI画图。

Shion's bla bla blog 6307

〔重庆理工大学〕操作系统实验指导书【实验三 系统调用】

本实验指导书详细介绍了在Linux 0.11系统中添加两个自定义系统调用(iam()和whoami())的完整流程。实验内容包括:修改unistd.h添加系统调用号,更新sys_call_table数组,实现内核函数sys_iam()和sys_whoami(),以及编写测试程序验证功能。关键步骤涉及用户态与内核态数据传递、系统调用号分配、中断处理机制等核心概念。实验要求学习者通过修改内核源码、理解系统调用原理,最终实现名字存储与读取功能,并完成测试验证。实验还提供了视频学习资源和参考书籍,帮助深入理解操作系

Pretty Boy Fox的博客 1289
上一篇: 常用ADB命令整理
Android_牧
博客等级 码龄9年 88粉丝 45原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值