Stable Diffusion 3.5 正式发布!免费开源,堪称最强AI文生图模型,附本地安装使用教程

本文将介绍Stable Diffusion 3.5的最新功能与优势,包括其在图像质量、生成速度、多样化输出以及可定制性等方面的显著提升。文章还会详细讲解如何在本地进行安装和使用,无论是设计小白还是专业人士,都能从中获取实用技巧,轻松上手这一强大的AI文生图模型。
如果没有安装comfyui 去下载安装,已经安装的更新到最新。

第一步下载模型:根据自己电脑的配置下载模型。模型文件放在

例如:D:\ComfyUI\ComfyUI\models\checkpoints

Stable Diffusion 3.5 提供了多种模型,以满足科学研究人员、爱好者、初创公司和企业的需求:

  • Stable Diffusion 3.5 Large :该基础模型拥有 80 亿个参数,具有卓越的质量和及时的依从性,是 Stable Diffusion 系列中最强大的模型。该型号非常适合 1 兆像素分辨率的专业用例。下载链接:https://huggingface.co/stabilityai/stable-diffusion-3.5-large/blob/main/sd3.5_large.safetensors推荐16G以上显存

    Stable Diffusion 3.5 Large Turbo : Stable Diffusion 3.5 Large 的精炼版本只需 4 个步骤即可生成高质量图像,并且具有出色的即时附着力,使其比 Stable Diffusion 3.5 Large 快得多。下载链接:https://huggingface.co/stabilityai/stable-diffusion-3.5-large-turbo/blob/main/sd3.5_large_turbo.safetensors

  • 这个地方需要注意填入邮箱,信息才能下载

  • img

  • 推荐8G以上显存

Stable Diffusion 3.5 Medium(将于 10 月 29 日发布) : 该模型拥有 25 亿个参数,并采用改进的 MMDiT-X 架构和训练方法,旨在在消费类硬件上“开箱即用”运行,在质量和易于定制之间取得平衡。它能够生成分辨率在 0.25 到 2 兆像素之间的图像。

第二步下载文本编辑器

clip_l.safetensors 、 clip_g.safetensors和 t5xxl。如果以前安装过flux,sd3 旧的模型无需下载。对于 t5xxl,如果您有超过 32GB 的内存,我建议使用t5xxl_fp16.safetensors;如果没有,则建议使用t5xxl_fp8_e4m3fn_scaled.safetensors 。

clip_l.safetensors 下载链接:https://huggingface.co/Comfy-Org/stable-diffusion-3.5-fp8/blob/main/text_encoders/clip_l.safetensors

clip_g.safetensors下载链接:https://huggingface.co/Comfy-Org/stable-diffusion-3.5-fp8/blob/main/text_encoders/clip_g.safetensors

t5xxl_fp16.safetensors下载链接:https://huggingface.co/Comfy-Org/stable-diffusion-3.5-fp8/blob/main/text_encoders/t5xxl_fp16.safetensors

t5xxl_fp8_e4m3fn_scaled.safetensors下载链接:https://huggingface.co/Comfy-Org/stable-diffusion-3.5-fp8/blob/main/text_encoders/t5xxl_fp8_e4m3fn_scaled.safetensors

下载放在 目录文件中\ComfyUI\ComfyUI\models\clip

第三下载 sd3工作流文件

下载链接:https://huggingface.co/stabilityai/stable-diffusion-3.5-large/tree/main

img

下载安装完后,导入工作流,看一下运行结果。这个地方需要修改成我们下载的文本处理模型,使用默认的直接运行结果

img

img

运行的过程看到还是比较吃内存和显卡,还是需要至少32G的内存。

img

提示词:fluffy hair,long floating hair,(super long hair),shiny pink hair,shiny hair,1 girl,alone,long hair,blue eyes,(pink hair),pink hair,looking at the audience,smiling,make-up face prints,purple hair,colored hair,thighs,outdoors,full body ((masterpiece)),(((best quality))),((ultra-detailed)),((illustration)),A lot of waving glow sticks,Stage,Concert,(solo),1 girl,((singing)),headset,(leaning_forward:1.2),(arms_behind_back),((extremely_detailed_eyes_and_face)),colorful,Tokyo Dome,ray tracing,(disheveled hair),cherry_blossoms,petals,Flying notes,4k,8k,fine detail,Ultra high resolution,best quality,HD,intricate detail,large file size,amazing,

生成图片:

img

有兴趣的可以下载测试一下效果
这份完整版的SD整合包已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费

在这里插入图片描述

### 使用 Stable Diffusion 实现文本生成视频的方法 #### 创建环境准备 为了实现从文本到视频的转换,首先需要搭建合适的开发环境。对于初学者来说,可以利用已经配置好的 GPU 服务器镜像来简化前期准备工作[^3]。这类镜像不仅包含了必要的依赖库和工具链,还预装了多个流行的 AI 模型及其优化版本。 #### 安装与设置 具体而言,在获取访问权限之后,用户可以直接启动带有预先安装软件包的 Docker 镜像或云平台实例。这些资源通常会提供详细的文档指导使用者完成初步设定过程,比如通过命令行界面执行特定脚本来加载最新的模型权重文件以及调整参数以适应个人创作需求。 #### 利用现有框架 当一切就绪后,就可以着手探索 `stable-diffusion-videos` 这样的开源项目了[^2]。此项目的亮点在于它允许开发者通过对潜在空间(latent space)的研究来平滑过渡不同文字提示之间所对应的视觉效果变化序列,从而形成连贯流畅的画面流转。 ```bash # 克隆仓库并进入目录 git clone https://gitcode.com/gh_mirrors/st/stable-diffusion-videos.git cd stable-diffusion-videos/ # 安装依赖项 pip install -r requirements.txt # 下载预训练模型 python download_model.py # 启动服务端程序 python app.py ``` #### 开发流程概述 在此基础上,实际操作时一般遵循如下几个环节: - **输入处理**:接收来自用户的自然语言描述作为输入; - **特征提取**:将上述文本转化为适合喂给神经网络的形式; - **帧间插值**:依据前后两帧之间的差异计算中间状态,确保动作连续性; - **渲染输出**:最终合成完整的动画片段供查看下载。 值得注意的是,虽然整个过程中涉及到了不少技术细节,但是得益于社区贡献者们的努力,很多复杂的工作已经被封装进了易于调用的功能模块里去了。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值