Retrieval-Augmented Layout Transformer (RALF) 使用教程

Retrieval-Augmented Layout Transformer (RALF) 使用教程

RALF [CVPR24 Oral] Official repository for RALF: Retrieval-Augmented Layout Transformer for Content-Aware Layout Generation 项目地址: https://gitcode.com/gh_mirrors/ralf1/RALF

1. 项目介绍

RALF（Retrieval-Augmented Layout Transformer）是一个用于内容感知布局生成的开源项目。该项目由CyberAgentAILab团队开发，旨在自动安排视觉元素，以配合给定内容，例如电子商务产品图像。RALF通过检索最近邻示例作为参考，增强生成过程，实现更精准的布局生成。

2. 项目快速启动

环境准备

• Python 3.9+
• PyTorch 1.13.1
• Poetry（推荐使用，以管理依赖）

安装Poetry

curl -sSL https://install.python-poetry.org | python3 -

安装依赖

poetry install

Docker环境搭建

构建Docker镜像

bash scripts/docker/build.sh

启动Docker容器并安装依赖

bash scripts/docker/exec.sh
poetry install

环境变量设置

在scripts/bin/setup.sh中设置以下环境变量：

DATA_ROOT="./cache/dataset"

其他可能需要设置的环境变量（例如OMP_NUM_THREADS）。

数据集准备

请根据官方教程对数据集进行预处理。预处理脚本可以处理PKU和CGL数据集。

poetry run python image2layout/hfds_builder/inpainting.py --dataset_root <DATASET_ROOT>
poetry run python image2layout/hfds_builder/saliency_detection.py --input_dir <INPUT_DIR> --output_dir <OUTPUT_DIR> (--algorithm (isnet | basnet))
poetry run python image2layout/hfds_builder/dump_dataset.py --dataset_root <DATASET_ROOT> --output_dir <OUTPUT_DIR>

训练与评估

训练和评估的具体命令取决于所使用的方法和数据集。以下是一个示例：

Autoreg Baseline训练

bash scripts/train/autoreg_cgl.sh <GPU_ID> <TASK_NAME>

RALF训练

bash scripts/train/ralf_cgl.sh <GPU_ID> <TASK_NAME>

具体的TASK_NAME可以是uncond、c、cwh、partial、refinement、relation等。

3. 应用案例和最佳实践

• 案例一：使用RALF生成电子商务产品布局。
• 案例二：在新闻网站中自动布局文章和图片。

最佳实践：

• 针对不同类型的内容，调整模型参数以获得最佳布局效果。
• 在生成布局前，确保对数据集进行了充分的预处理。

4. 典型生态项目

RALF项目是内容感知布局生成领域的一个典型代表。以下是与RALF相关的几个生态项目：

• Autoreg Baseline：一种基于生成对抗网络的内容感知布局生成方法。
• CGL-GAN：用于图像到布局转换的生成对抗网络。
• DS-GAN：基于深度学习的布局生成方法。

通过这些项目的结合使用，可以进一步探索和提升布局生成的效果。

RALF [CVPR24 Oral] Official repository for RALF: Retrieval-Augmented Layout Transformer for Content-Aware Layout Generation 项目地址: https://gitcode.com/gh_mirrors/ralf1/RALF