开源项目安装与配置指南：Diffusion Self-Distillation

开源项目安装与配置指南：Diffusion Self-Distillation

diffusion-self-distillation 项目地址: https://gitcode.com/gh_mirrors/di/diffusion-self-distillation

1. 项目基础介绍

本项目是《Diffusion Self-Distillation for Zero-Shot Customized Image Generation》论文的官方实现，主要致力于解决零样本自定义图像生成问题。该技术可以用于创建特定实例的新场景图像，如商品、插图、漫画、动漫角色设计等。此项目目前支持保留主题的生成模型，并且正在对重光照模型进行进一步的测试。

主要编程语言：Python

2. 关键技术和框架

本项目使用了以下关键技术和框架：

• 文本到图像的扩散模型：用于生成基于文本提示的图像。
• 视觉语言模型：辅助创建图像和文本配对的数据集。
• 自蒸馏方法：通过预训练的文本到图像模型生成数据集，并微调模型以实现文本+图像到图像的任务。

3. 安装和配置准备工作

在开始安装之前，请确保您的环境中已经安装了以下依赖：

• Python 3.x
• Git
• pip（Python包管理器）

如果您的环境中没有安装上述工具，请先进行安装。

详细安装步骤

1. 克隆项目仓库：

   git clone https://github.com/primecai/diffusion-self-distillation.git
   cd diffusion-self-distillation
   

2. 安装项目依赖：

   pip install -r requirements.txt
   

   如果需要使用提示增强特性，您可能需要设置Google Gemini API密钥，这是可选的，但强烈推荐。

3. 下载预训练模型：

   您可以从Hugging Face或Google Drive下载预训练模型，并解压以获得以下文件：

   • transformers
   • config.json
   • diffusion_pytorch_model.safetensors
   • pytorch_lora_weights.safetensors

4. 运行推理示例（生成图像）：

   CUDA_VISIBLE_DEVICES=0 python generate.py \
   --model_path /PATH/TO/transformer \
   --lora_path /PATH/TO/pytorch_lora_weights.safetensors \
   --image_path /PATH/TO/conditioning_image.png \
   --text "this character sitting on a chair" \
   --output_path output.png \
   --guidance 3.5 \
   --i_guidance 1.0 \
   --t_guidance 1.0 \
   --model_offload \
   --sequential_offload \
   --disable_gemini_prompt
   

   请确保将上述命令中的/PATH/TO/替换为实际的文件路径。

以上步骤为基本的安装和配置指南，您可以根据自己的需求调整配置。在操作过程中，请确保遵循项目文档中的建议和说明。

diffusion-self-distillation 项目地址: https://gitcode.com/gh_mirrors/di/diffusion-self-distillation