TRELLIS-500K：面向3D生成任务的大规模高质量数据集解析

TRELLIS-500K：面向3D生成任务的大规模高质量数据集解析

TRELLIS Official repo for paper "Structured 3D Latents for Scalable and Versatile 3D Generation". 项目地址: https://gitcode.com/gh_mirrors/trell/TRELLIS

数据集概述

TRELLIS-500K是由微软研究团队精心构建的大规模3D资产数据集，专为3D生成任务设计。该数据集汇集了来自多个知名3D资源库的优质资产，包括Objaverse(XL)、ABO、3D-FUTURE、HSSD和Toys4k等，经过严格的美学评分筛选后，最终形成了包含50万+3D模型的高质量集合。

核心特点

1. 严格的质量控制：所有3D资产都经过美学评分筛选，不同来源采用不同的评分阈值（如ObjaverseXL要求5.5分以上，ABO要求4.5分以上）

2. 丰富的元数据：数据集以CSV格式提供详细的元数据信息，包括模型来源、评分、是否包含文本描述等关键信息

3. 多用途设计：特别适合用于3D生成模型的训练和评估

数据集构成分析

| 数据来源 | 美学评分阈值 | 筛选后数量 | 含文本描述数量 | |---------|------------|-----------|--------------| | ObjaverseXL (sketchfab) | 5.5 | 168,307 | 167,638 | | ObjaverseXL (github) | 5.5 | 311,843 | 306,790 | | ABO | 4.5 | 4,485 | 4,390 | | 3D-FUTURE | 4.5 | 9,472 | 9,291 | | HSSD | 4.5 | 6,670 | 6,661 | | 训练集(总计) | - | 500,777 | 494,770 | | Toys4k (评估集) | 4.5 | 3,229 | 3,180 |

注意：部分3D资产缺少文本描述，如果您的任务需要文本描述，请在使用前进行过滤。

数据集准备全流程指南

1. 环境准备

首先需要安装必要的依赖项：

. ./dataset_toolkits/setup.sh

2. 元数据加载

加载指定子集的元数据信息：

python dataset_toolkits/build_metadata.py <子集名称> --output_dir <输出目录> [--source <数据来源>]

参数说明：

• 子集名称：可选ObjaverseXL、ABO、3D-FUTURE、HSSD或Toys4k
• 输出目录：保存数据的目录路径
• 数据来源：仅当子集为ObjaverseXL时需要，可选sketchfab或github

3. 3D资产下载

下载实际的3D模型文件：

python dataset_toolkits/download.py <子集名称> --output_dir <输出目录>

专业建议：对于大规模数据集如ObjaverseXL，可以考虑使用多节点并行下载，通过--rank和--world_size参数控制。

4. 多视角图像渲染

为3D模型生成多视角图像：

python dataset_toolkits/render.py <子集名称> --output_dir <输出目录> [--num_views <视角数量>]

默认会渲染150个视角，可根据需求调整。渲染完成后需要更新元数据文件。

5. 3D模型体素化

将3D模型转换为体素表示：

python dataset_toolkits/voxelize.py <子集名称> --output_dir <输出目录>

6. DINO特征提取

为SLat VAE训练准备数据，从多视角图像中提取DINO特征：

python dataset_toolkits/extract_features.py --output_dir <输出目录>

7. 稀疏结构编码

将稀疏结构编码为潜在表示，用于第一阶段生成器训练：

python dataset_toolkits/encode_ss_latent.py --output_dir <输出目录>

8. SLat编码

为第二阶段生成器训练准备SLat编码：

python dataset_toolkits/encode_latent.py --output_dir <输出目录>

9. 图像条件渲染

为图像条件生成器训练准备增强视图：

python dataset_toolkits/render_cond.py <子集名称> --output_dir <输出目录> [--num_views <视角数量>]

最佳实践建议

1. 数据预处理：建议在开始训练前完成所有预处理步骤，包括渲染、体素化、特征提取等

2. 资源管理：对于大规模数据集，考虑使用分布式处理，合理设置rank和world_size参数

3. 质量控制：根据任务需求，可以进一步筛选含文本描述的样本或调整美学评分阈值

4. 评估集使用：Toys4k子集专门设计用于评估，建议保持其独立性

TRELLIS-500K数据集为3D生成研究提供了丰富的高质量资源，通过完整的工具链支持，研究人员可以高效地准备训练数据，专注于模型创新而非数据收集和处理。

TRELLIS Official repo for paper "Structured 3D Latents for Scalable and Versatile 3D Generation". 项目地址: https://gitcode.com/gh_mirrors/trell/TRELLIS