Show-o 开源项目使用教程-优快云博客

Show-o 开源项目使用教程

Show-o [ICLR 2025] Repository for Show-o, One Single Transformer to Unify Multimodal Understanding and Generation. 项目地址: https://gitcode.com/gh_mirrors/sh/Show-o

1. 项目介绍

Show-o 是一个由 Show Lab 开发的新型统一多模态模型，旨在通过单一转换器实现多模态理解和生成的统一。该模型可以处理图像标注、视觉问答（VQA）、文本到图像生成、文本引导的图像修复和扩展等任务。Show-o 使用自回归注意力和去噪扩散模型来处理文本和图像输入，并生成所需的输出。

2. 项目快速启动

在开始使用 Show-o 前，请确保您的环境中已安装以下依赖：

pip3 install -r requirements.txt

接下来，您需要配置 wandb 账户，以便跟踪和查看推理结果：

wandb login <your wandb keys>

以下是几个快速启动的示例：

多模态理解推理示例

运行以下命令进行多模态理解推理，并在 wandb 上查看结果：

python3 inference_mmu.py config=configs/showo_demo_w_clip_vit_512x512.yaml \
max_new_tokens=100 \
mmu_image_root=./mmu_validation question='请详细描述这幅图像。*** 你认为这幅图像是否异常？'

或者使用以下配置：

python3 inference_mmu.py config=configs/showo_demo_512x512.yaml \
max_new_tokens=100 \
mmu_image_root=./mmu_validation question='请详细描述这幅图像。*** 你认为这幅图像是否异常？'

文本到图像生成推理示例

运行以下命令进行文本到图像生成推理，并在 wandb 上查看结果：

python3 inference_t2i.py config=configs/showo_demo_512x512.yaml \
batch_size=1 validation_prompts_file=validation_prompts/showoprompts.txt \
guidance_scale=5 generation_timesteps=50 \
mode='t2i'

文本引导的图像修复推理示例

运行以下命令进行文本引导的图像修复推理，并在 wandb 上查看结果：

python3 inference_t2i.py config=configs/showo_demo.yaml \
batch_size=1 \
guidance_scale=1.75 generation_timesteps=16 \
mode='inpainting' prompt='一辆蓝色的跑车，流线型的曲线和有色窗户，停在一个繁忙的城市街道上。' \
image_path=./inpainting_validation/bus.jpg inpainting_mask_path=./inpainting_validation/bus_mask.webp

文本引导的图像扩展推理示例

运行以下命令进行文本引导的图像扩展推理，并在 wandb 上查看结果：

python3 inference_t2i.py config=configs/showo_demo.yaml \
batch_size=1 \
guidance_scale=1.75 generation_timesteps=16 \
mode='extrapolation' extra_direction='左 左 左 右 右 右' offset=0 prompt='一个宁静的自然景观，特色是一个清晰的蓝色湖泊，周围是郁郁葱葱的绿色树木。' \
image_path=./inpainting_validation/alpine_lake.jpg