efm3d：测量向3D自我中心基础模型进展的基准

efm3d：测量向3D自我中心基础模型进展的基准

efm3d This is the official release for the paper "EFM3D A Benchmark for Measuring Progress Towards 3D Egocentric Foundation Models" (https//arxiv.org/abs/2406.10224). 项目地址: https://gitcode.com/gh_mirrors/ef/efm3d

项目介绍

efm3d是一个针对3D自我中心基础模型（Egocentric Foundation Models, EFMs）的测量进展的基准。该项目通过两个核心的3D自我中心感知任务——3D对象检测和表面回归，在高质量注释的自我中心数据集上评估模型性能。efm3d是首个针对Project Aria高质量注释数据的3D对象检测和表面回归任务的基准，并提出了用于3D EFMs的基线方法——Egocentric Voxel Lifting (EVL)。

项目技术分析

efm3d项目使用PyTorch作为主要的深度学习框架，并提供了预训练的EVL模型权重、数据集、分布式训练代码以及与Aria Training and Evaluation Kit (ATEK)的原生集成。该项目的目标是为研究者在3D自我中心感知领域提供一个统一的评估标准，以推动该领域的技术进步。

项目的核心组件包括：

• 预训练的EVL模型权重，用于表面重建和3D对象检测。
• 包含训练和评估数据的数据集，如Aria Synthetic Datasets (ASE)、Aria Everyday Objects (AEO)等。
• 分布式训练代码，用于训练EVL模型。
• 与ATEK的原生集成，用于训练和评估。

项目技术应用场景

efm3d的应用场景主要集中在3D自我中心感知领域，包括但不限于：

• 虚拟现实和增强现实中的交互式对象检测。
• 机器人导航和物体操作。
• 智能视频分析和监控。
• 自动驾驶车辆中的乘客交互。

项目特点

efm3d项目具有以下特点：

1. 高质量数据集：使用Project Aria提供的高质量注释的自我中心数据集，保证了评估的准确性和可靠性。

2. 全面的评估任务：包括3D对象检测和表面回归两个核心任务，全面评估EFMs的性能。

3. 易于使用的工具和代码：提供了易于安装和使用的基础设施，包括预训练模型、数据集和训练代码。

4. 开放的生态系统：与ATEK的原生集成，支持多节点多GPU训练，为研究者提供了灵活性和扩展性。

5. 社区支持：该项目是开源的，欢迎社区贡献，以推动项目的进一步发展和完善。

通过efm3d，研究者和开发者可以更好地理解和评估3D自我中心基础模型的性能，从而推动相关技术的进步和应用。如果你对3D自我中心感知领域感兴趣，efm3d无疑是一个值得关注的开源项目。

efm3d This is the official release for the paper "EFM3D A Benchmark for Measuring Progress Towards 3D Egocentric Foundation Models" (https//arxiv.org/abs/2406.10224). 项目地址: https://gitcode.com/gh_mirrors/ef/efm3d