Infinigen项目中的地面真实标注技术解析

Infinigen项目中的地面真实标注技术解析

infinigen Infinite Photorealistic Worlds using Procedural Generation 项目地址: https://gitcode.com/gh_mirrors/in/infinigen

概述

Infinigen是一个强大的3D场景生成工具，它不仅能够生成逼真的3D场景，还能提供丰富的地面真实(Ground Truth)标注数据。这些标注数据对于计算机视觉研究、机器学习模型训练等领域具有重要价值。本文将深入解析Infinigen项目中提供的各种地面真实标注技术。

标注类型概览

Infinigen提供了两种主要的标注生成方式：

1. Blender内置标注：使用Blender自带的渲染通道生成基础标注
2. 高级标注管线：使用自定义的OpenGL渲染管线生成更丰富的标注数据

Blender内置标注系统

Blender内置标注是Infinigen提供的基础标注解决方案，具有以下特点：

• 无需额外依赖
• 可在无GPU环境下运行
• 提供基本的标注类型

使用方式简单，只需在配置中添加blender_gt参数即可启用。

高级标注管线

高级标注管线提供了更丰富的标注功能，包括：

• 遮挡边缘检测
• 子对象级分割
• 3D光流
• 便捷的3D边界框生成

安装要求

要使用高级标注管线，需要满足以下系统要求：

Ubuntu系统依赖：

sudo apt-get install libglm-dev libglew-dev libglfw3-dev libgles2-mesa-dev zlib1g-dev

MacOS系统依赖：

brew install glfw3
brew install glew

安装完成后，需要编译OpenGL组件：

bash scripts/install/compile_opengl.sh

标注数据规范

Infinigen生成的标注数据具有统一的格式规范，下面详细介绍各类标注的存储格式和使用方法。

深度图

• 格式：2H×2W的32位浮点numpy数组
• 用途：与相机参数结合可用于图像变形

深度图示例：

表面法线

• 格式：H×W×3的32位浮点numpy数组
• 坐标系：+X向右，+Y向上，+Z向后

表面法线示例：

光流与场景流

• 格式：H×W×3的32位浮点numpy数组
• 通道1-2：标准光流（像素单位）
• 通道3：帧间深度变化（3D运动向量）

遮挡边缘

• 格式：≥2H×2W的PNG图像
• 数值：255表示边缘，0表示非边缘

遮挡边缘示例：

相机参数

Infinigen使用针孔相机模型，相机参数包括：

1. 内参矩阵：3×3 numpy矩阵
2. 外参矩阵：4×4 numpy矩阵（相机到世界坐标的变换）
3. IMU数据：包含时间戳、旋转速度(xyz)和线性加速度(xyz)

全景分割

Infinigen提供三种分割掩码：

1. 对象分割：区分Blender对象
2. 实例分割：区分同一对象的不同实例
3. 标签分割：基于语义标签的顶点分类

标签分割示例：

3D边界框与对象元数据

每个对象都包含丰富的元数据，存储在JSON文件中，包括：

• 子对象列表
• 顶点/面数
• 材质信息
• 标签列表
• 边界框信息
• 变换矩阵

实用工具

Infinigen提供了多个实用工具来处理标注数据：

1. 刚性变形工具：使用深度和相机参数将图像变形到另一帧
2. 光流变形工具：使用光流将一帧变形到下一帧
3. 分割查询工具：查找特定标签的分割区域
4. 3D边界框可视化工具：显示对象的3D边界框

总结

Infinigen提供了全面的地面真实标注解决方案，从基础的Blender内置标注到高级的自定义标注管线，能够满足不同研究需求。其丰富的标注类型和统一的格式规范使其成为计算机视觉研究的理想工具。无论是基础的深度、法线信息，还是高级的3D光流、全景分割和3D边界框，Infinigen都能提供高质量的标注数据。

对于研究人员来说，理解这些标注数据的格式和获取方式，将有助于更好地利用Infinigen生成的数据集进行各种视觉任务的研究和开发。

infinigen Infinite Photorealistic Worlds using Procedural Generation 项目地址: https://gitcode.com/gh_mirrors/in/infinigen