Stable Diffusion 3 开源了,完全不输 Midjourney

在这里插入图片描述

Hi,大家好。我是茶桁。

前段时间我介绍过一款文字生视频的 AI 工具:SadTalker, 当时咱们是作为 Stable Diffusion 的插件来安装的。

那基于 Stable Diffusion 呢,咱们今天就来聊聊新开源的 Stable Diffusion 3。

在文字生成图片这个领域,一直是有三个主要的竞争者,Midjourney, DELL-3, 还有就是 Stable Diffusion。前不久,Stable Diffusion 开源了 SD3,使用过后,效果直逼 Midjourney,而在社区内的出图效果来看,可以替代 Midjourney 作为主力出图工具了。这可真是能省下不少钱,毕竟那可都是真金白银。

好,那到底如何去安装 Stable Diffusion 3 呢?这次咱们不使用 Stable Diffusion WebUI,来看另外一款 UI 工具: ComlyUI。

Capture-2024-06-15-215008

这款应用的风格是类似于 Blender,在相关节点之间进行连线来完成通路。

具体安装嘛,首先,我们需要下载开源的 Stable Diffusion 3 大模型:https://huggingface.co/stab

### Stable Diffusion XL 开源版本地部署教程 Stable Diffusion XL 是一个功能强大的生成式人工智能模型,适用于高分辨率图像生成和编辑。为了在本地环境中成功部署 Stable Diffusion XL 开源版本,需要确保满足以下条件并按照相关步骤进行配置[^1]。 #### 环境准备 本地部署 Stable Diffusion XL 通常需要一个支持 GPU 的计算环境,因为模型的训练和推理过程对计算资源的需求较高。以下是推荐的环境配置: - 操作系统:Linux (推荐 Ubuntu 20.04 或更高版本) 或 Windows 10/11。 - Python 版本:3.8 至 3.10(避免使用过高版本以减少兼容性问题)。 - GPU 驱动:NVIDIA CUDA Toolkit 和 cuDNN 库,确保版本与 PyTorch 兼容。 - 内存需求:至少 16GB RAM 和 12GB 显存(具体取决于模型大小和任务复杂度)。 #### 安装依赖项 在开始之前,需要安装必要的 Python 包和其他依赖项。可以参考以下命令来安装基础库: ```bash pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install diffusers transformers accelerate safetensors xformers ``` 此外,如果需要下载预训练模型权重,还需要安装 `huggingface_hub` 库以便从 Hugging Face Model Hub 下载模型文件[^2]。 #### 模型下载与加载 Stable Diffusion XL 的开源版本可以通过 Hugging Face 提供的接口获取。以下是下载模型的示例代码: ```python from diffusers import DiffusionPipeline # 加载 Stable Diffusion XL 模型 pipeline = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", use_safetensors=True, variant="fp16") pipeline.to("cuda") # 将模型移动到 GPU 上 ``` #### 推理流程 完成模型加载后,可以使用以下代码进行图像生成或编辑任务: ```python from PIL import Image import torch # 定义入提示 prompt = "A high-quality photo of a cat sitting on a table" # 运行推理 image = pipeline(prompt).images[0] # 保存生成的图像 image.save("output_image.png") ``` #### 常见问题及解决方案 1. **CUDA 可用错误**:确保正确安装了 NVIDIA 驱动程序以及匹配版本的 CUDA Toolkit。 2. **内存足错误**:尝试降低推理批处理大小或启用梯度检查点技术以减少显存占用。 3. **模型加载失败**:检查网络连接是否正常,并确认是否有足够的磁盘空间存储模型权重。 ### 注意事项 本地部署 Stable Diffusion XL 可能涉及较大的计算开销和存储需求。建议在高性能硬件上运行,并根据实际需求调整资源配置。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

茶桁

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值