MangaNinjia 使用与启动教程

MangaNinjia 使用与启动教程

MangaNinjia Official implementation of "MangaNinja: Line Art Colorization with Precise Reference Following" 项目地址: https://gitcode.com/gh_mirrors/ma/MangaNinjia

1. 项目介绍

MangaNinjia 是一个基于参考图像进行线稿上色的开源项目。它能够自动对齐参考图像与线稿，实现一致性极高的上色效果。此外，用户还可以通过点控制实现更复杂的上色任务。该项目旨在加速动漫产业中的上色过程。

2. 项目快速启动

环境准备

首先，确保你的系统中已经安装了 Git 和 Conda。

克隆项目

使用 Git 克隆项目仓库：

git clone https://github.com/ali-vilab/MangaNinjia.git
cd MangaNinjia

安装依赖

使用 Conda 安装项目所需的依赖：

conda env create -f environment.yaml
conda activate MangaNinjia

下载模型权重

从 HuggingFace 下载模型权重，包括 StableDiffusion、clip-vit-large-patch14、control_v11p_sd15_lineart、Annotators、sk_model.pth、denoising_unet.pth、reference_unet.pth、point_net.pth 和 controlnet.pth，并确保它们存放在 checkpoints 目录下。

推断执行

进入 scripts 目录，运行以下命令：

cd scripts
bash infer.sh

所有的结果将保存在 output/ 目录下。

3. 应用案例和最佳实践

使用 Gradio UI

Gradio 提供了一个用户友好的界面来使用 MangaNinjia。首先，修改 ./configs/inference.yaml 文件来设置模型权重的路径。然后，运行以下脚本：

python run_gradio.py

按照 UI 提示上传参考图像和目标图像。如果上传的是 RGB 图像，模型会自动提取线稿；如果上传的是线稿，可以选择“input is lineart”选项。

定义匹配点后，点击“Process Images”将图像调整到 512x512 分辨率，然后点击“Generate”生成上色结果。

推断设置

可以通过修改以下参数来自定义推断过程：

• --denoise_steps：每个推断步骤的去噪次数。
• --is_lineart：如果输入已经是线稿，无需额外提取时使用。
• --guidance_scale_ref：增加该值，模型更倾向于接受参考图像的指导。
• --guidance_scale_point：增加该值，模型更倾向于接受点控制的指导。

4. 典型生态项目

MangaNinjia 依赖于一些其他开源项目，例如 MagicAnimate。我们建议在使用 MangaNinjia 时，也关注这些生态项目，以便更好地理解和使用相关技术。

以上就是 MangaNinjia 的使用与启动教程，希望对您有所帮助。

MangaNinjia Official implementation of "MangaNinja: Line Art Colorization with Precise Reference Following" 项目地址: https://gitcode.com/gh_mirrors/ma/MangaNinjia