StyleGANEX 开源项目使用教程

StyleGANEX 开源项目使用教程

StyleGANEX [ICCV 2023] StyleGANEX: StyleGAN-Based Manipulation Beyond Cropped Aligned Faces 项目地址: https://gitcode.com/gh_mirrors/st/StyleGANEX

1. 项目介绍

StyleGANEX 是基于 StyleGAN 的扩展，它通过使用扩张卷积来调整 StyleGAN 的浅层，从而使得模型能够处理未对齐的面部图像和不同分辨率的图像。StyleGANEX 不仅继承了 StyleGAN 的风格表示和编辑能力，还引入了一个对应的编码器，可以提供 StyleGANEX 的第一层特征和潜在外观代码。这使得 StyleGANEX 在面部属性编辑、超分辨率、草图/蒙版到面部转换以及面部卡通化等任务中表现出色。

2. 项目快速启动

首先，你需要克隆该项目仓库并安装所需的依赖：

git clone https://github.com/williamyang1991/StyleGANEX.git
cd StyleGANEX

安装以下依赖：

• CUDA 10.1
• PyTorch 1.7.1
• Pillow 8.3.1
• Matplotlib 3.4.2
• opencv-python 4.5.3
• tqdm 4.61.2
• Ninja 1.10.2
• dlib 19.24.0
• gradio 3.4

运行推理

为了帮助你入门，项目中提供了一个 Jupyter 笔记本 ./inference_playground.ipynb，它允许你查看 StyleGANEX 的性能。该笔记本将下载必要的预训练模型，并对 ./data/ 文件夹中的图像进行推理。

此外，还可以使用以下命令启动一个基于 gradio 的 UI 来测试 StyleGANEX：

python app_gradio.py

预训练模型

预训练模型可以从 Google Drive、Baidu Cloud 或 Hugging Face 下载，并放置在 ./pretrained_models/ 文件夹中。

面部反转

使用 inversion.py 脚本可以将面部图像嵌入到 StyleGANEX 的潜空间中，获取其 w+ 潜代码和第一层特征 f。

python inversion.py -ckpt STYLEGANEX_MODEL_PATH -data_path FACE_IMAGE_PATH

结果将保存在 ./output/ 文件夹中。

图像转换

image_translation.py 脚本支持面部超分辨率、草图到面部转换和解析图到面部转换。

python image_translation.py -ckpt STYLEGANEX_MODEL_PATH -data_path FACE_INPUT_PATH

结果同样保存在 ./output/ 文件夹中。

视频编辑

video_editing.py 脚本支持视频面部属性编辑和视频面部卡通化。

python video_editing.py -ckpt STYLEGANEX_MODEL_PATH -data_path FACE_INPUT_PATH

结果同样保存在 ./output/ 文件夹中。

3. 应用案例和最佳实践

• 面部属性编辑：使用预训练的 styleganex_edit_hair.pt 或 styleganex_edit_age.pt 模型进行视频中的头发颜色或年龄编辑。
• 面部卡通化：使用预训练的 styleganex_toonify_cartoon.pt、styleganex_toonify_arcane.pt 或 styleganex_toonify_pixar.pt 模型将视频中的面部卡通化。

4. 典型生态项目

StyleGANEX 的开源生态中，你可以找到与之配套的工具和模型，例如用于面部解析的 faceparsing.PyTorch 等。这些项目可以与 StyleGANEX 结合使用，以实现更丰富的面部编辑和处理功能。

StyleGANEX [ICCV 2023] StyleGANEX: StyleGAN-Based Manipulation Beyond Cropped Aligned Faces 项目地址: https://gitcode.com/gh_mirrors/st/StyleGANEX