HelloMeme 项目使用教程

HelloMeme 项目使用教程

HelloMeme The official HelloMeme GitHub site 项目地址: https://gitcode.com/gh_mirrors/he/HelloMeme

1. 项目介绍

HelloMeme 是一个开源项目，它通过整合空间编织注意力（Spatial Knitting Attentions）来在扩散模型中嵌入高级和保真度丰富的条件。该项目是相应论文的官方代码实现，旨在提供一种新的方法来改善图像和视频生成任务。

2. 项目快速启动

环境准备

首先，创建一个 Conda 环境：

conda create -n hellomeme python=3.10.11
conda activate hellomeme

接着，安装 PyTorch 和 FFmpeg。请参考 PyTorch 官方网站和 FFmpeg 官方网站进行安装。

然后，安装所需依赖：

pip install diffusers transformers einops scipy opencv-python tqdm pillow onnxruntime-gpu onnx safetensors accelerate peft imageio imageio[ffmpeg] torchvision

注意：确保安装的 diffusers 版本为 0.31.0。

克隆项目

git clone https://github.com/HelloVision/HelloMeme.git
cd HelloMeme

运行代码

• 图片生成：

python inference_image.py

• 视频生成：

python inference_video.py

Gradio App 安装

推荐使用 conda 环境，然后执行以下命令：

pip install gradio
python app.py

运行后，所有模型将会被自动下载。

3. 应用案例和最佳实践

图片生成案例

输入包括一个参考图像和一个驱动图像。输出结果如下：

基于 SD1.5
基于 disneyPixarCartoon

视频生成案例

输入包括一个参考图像和一个驱动视频。输出结果如下：

基于 epicrealism
基于 disneyPixarCartoon

注意：如果驱动视频中的面部有显著移动，建议设置 trans_ratio 参数为 0 以防止输出失真。

4. 典型生态项目

目前，HelloMeme 支持加载风格化的基础模型（safetensors），并且在视频生成任务中，使用一些定制的模型，如 Realistic Vision V6.0 B1，可以产生更好的效果。用户可以将 checkpoints 和 loras 下载到 pretrained_models/ 和 pretrained_models/loras/ 目录中。

以上就是 HelloMeme 项目的使用教程，希望对您有所帮助。

HelloMeme The official HelloMeme GitHub site 项目地址: https://gitcode.com/gh_mirrors/he/HelloMeme