Show-o 开源项目使用教程

Show-o 开源项目使用教程

Show-o [ICLR 2025] Repository for Show-o, One Single Transformer to Unify Multimodal Understanding and Generation. 项目地址: https://gitcode.com/gh_mirrors/sh/Show-o

1. 项目目录结构及介绍

Show-o 项目目录结构如下：

Show-o/
├── accelerate_configs/        # 存放加速训练的配置文件
├── configs/                  # 存放模型训练和推理的配置文件
├── docs/                     # 存放项目文档
├── inference_mmu.ipynb        # 用于多模态理解的推理演示 Jupyter 笔记本
├── inference_mmu.py           # 多模态理解的推理代码
├── inference_t2i.py           # 文本到图像生成的推理代码
├── requirements.txt          # 项目依赖的 Python 包列表
├── training/                 # 存放训练相关代码
├── validation_prompts/        # 存放验证集提示信息
├── CONTRIBUTING_ROADMAP.md    # 贡献指南和项目路线图
├── LICENSE                   # 项目许可证文件
├── README.md                 # 项目说明文件

• accelerate_configs/：包含用于分布式训练的配置文件，以加速模型训练过程。
• configs/：包含各种运行配置，如训练和推理的配置文件。
• docs/：存放项目的文档资料。
• inference_mmu.ipynb 和 inference_mmu.py：用于多模态理解的推理演示和代码。
• inference_t2i.py：文本到图像生成的推理代码。
• requirements.txt：列出项目运行所需的 Python 包。
• training/：包含训练模型所需的代码。
• validation_prompts/：包含用于验证模型性能的提示信息。
• CONTRIBUTING_ROADMAP.md：提供了如何为项目贡献以及项目的未来路线图。
• LICENSE：项目的开源许可证。
• README.md：项目的详细介绍。

2. 项目的启动文件介绍

项目的启动文件主要是指用于推理的 Python 脚本，包括以下两个：

• inference_mmu.py：用于多模态理解的推理，如图像描述和视觉问答。
• inference_t2i.py：用于文本到图像的生成。

要启动推理，可以在命令行中运行这些 Python 脚本，并提供相应的配置文件和其他参数。

例如，运行多模态理解推理的命令如下：

python3 inference_mmu.py config=configs/showo_demo.yaml max_new_tokens=100 mmu_image_root=./mmu_validation question='Please describe this image in detail. *** Do you think the image is unusual or not?'

3. 项目的配置文件介绍

项目的配置文件位于 configs/ 目录下，主要包括以下几种：

• 用于模型训练的配置文件，例如 showo_pretraining_stage1.yaml。
• 用于推理的配置文件，例如 showo_demo.yaml。

这些配置文件使用 YAML 格式，定义了模型训练或推理时所需的参数，如数据集路径、超参数设置、模型架构等。

例如，一个推理配置文件可能包含以下内容：

# 推理配置示例
model:
  name: show-o
  path: ./checkpoints/show-o-512x512
inference:
  max_new_tokens: 100
  image_root: ./mmu_validation
prompt:
  question: 'Please describe this image in detail. *** Do you think the image is unusual or not?'

使用这些配置文件，用户可以方便地调整模型的行为，以适应不同的使用场景。

Show-o [ICLR 2025] Repository for Show-o, One Single Transformer to Unify Multimodal Understanding and Generation. 项目地址: https://gitcode.com/gh_mirrors/sh/Show-o