【大模型系列 03】Stable Diffusion 2.1 for PyTorch 昇腾迁移

hiascend

已于 2023-07-28 19:37:42 修改

阅读量1.5k

点赞数 2

分类专栏：训练开发文章标签： stable diffusion

于 2023-07-28 19:29:54 首次发布

本文链接：https://blog.youkuaiyun.com/hiascend/article/details/131986730

版权

训练开发专栏收录该内容

7 篇文章

订阅专栏

源码链接

https://gitee.com/ascend/ModelZoo-PyTorch/blob/master/PyTorch/built-in/diffusion/stablediffusion-2.1

StableDiffusion-2.1 for PyTorch

概述

简述

StableDiffusion 是 StabilityAI公司于2022年提出的图片生成的预训练模型，论文和代码均已开源，下游任务包括文生图、图生图、图片压缩等等

参考实现：

url=https://github.com/Stability-AI/stablediffusion 
commit_id=535d370de05c0e55a6bcbdd32933e549e125b946

适配昇腾 AI 处理器的实现：

url=https://gitee.com/ascend/ModelZoo-PyTorch.git
code_path=PyTorch/built-in/diffusion/stablediffusion-2.1

准备环境

当前模型支持的 PyTorch 版本和已知三方库依赖如下表所示。

表 1 版本支持表

Torch_Version 三方库依赖版本
PyTorch 1.11 torchvision== 0.12.0; transformers==4.19.2
环境准备指导。

请参考《Pytorch框架训练环境准备》。
安装依赖。

在模型源码包根目录下执行命令，安装模型对应PyTorch版本需要的依赖。
```
pip install -r requirements.txt
```

Torch_Version	三方库依赖版本
PyTorch 1.11	torchvision== 0.12.0; transformers==4.19.2

图像生成任务推理

下载预训练的ckpt文件
先source环境变量：
```
source ./test/env_npu.sh
```
执行图像生成脚本：

 python scripts/txt2img.py \
        --prompt "a professional photograph of an astronaut riding a horse" \
        --ckpt /xxx/xxx.ckpt \
        --config configs/stable-diffusion/v2-inference-v.yaml \
        --H 768 \
        --W 768 \
        --device_id 4 \
        --precision full \
        --bf16 \
        --n_samples 1 \
        --n_iter 1 \
        --dpm \
        --steps 15 

# 或者使用shell脚本启动：
bash ./test/run_infer_full_1p.sh  #单卡推理，请将脚本里的ckpt权重路径更换成实际的路径

# 注：生成的图像在outputs目录下

参数说明如下：

--ckpt_path #模型文件目录，需要指定到具体的ckpt文件

--n_samples #每次生成图片的batch数

--n_iter #每个prompt生成的图片数，每个prompt生成的图片总数为：（n_samples * n_iter）

--devive #除`cpu`外，默认为`cuda`

--device_id #运行的设备ID

版本说明

变更

FAQ

该模型当前只支持在线推理，不支持训练。
requests.exceptions.SSLError:HttpSConnectionPool(host='huggingface.co', port=443)错误

可以修改当前环境的requests包下的sessions.py文件的684行，增加kwargs["verify"] = False，一般路径在conda_path/envs/conda_name/lib/python*/site-packages/requests/sessions.py，查看requests包的所在路径可以通过pip show requests查看