最近在复现具身导航相关项目时,发现很多项目使用的数据集都Matterport3D,Matterport3D数据集虽然免费,但不开源,需要稍微复杂一点点的方法才能获取正版的数据集,因此我在这里记录一下Matterport3D数据集的获取方法,包括自己踩过的坑,并分享给大家。
一、Matterport3D数据集介绍
Matterport3D 数据集是由 Matterport 公司联合斯坦福、普林斯顿、慕尼黑工业大学(TUM)等机构推出的大规模室内 3D+2D 混合数据集,旨在为深度学习、计算机视觉及机器人领域提供高质量的真实世界室内场景数据支撑,推动 3D 感知、场景理解与导航等技术的发展。
- 基础版(2017 年发布):
涵盖90 个建筑级室内场景(含住宅、商业空间等),数据源自 194,400 张 RGB + 深度图像,从中提取出 10,800 张对齐的 3D 全景图(每张均包含 RGB 色彩信息与像素级深度信息),所有数据均通过 Matterport Pro 3D 相机采集,确保场景的真实感与精度。
- Habitat-Matterport 3D(HM3D,2023 年与 Meta AI 合作发布)
作为升级版,包含1000 个高保真室内空间的 3D 数字孪生模型,提供 3D 网格文件(.obj 与.glb 格式)、JPG 纹理贴图、.mtl 材质文件等,支持与 Habitat 模拟器无缝对接,适用于大规模机器人与 embodied AI(具身智能)研究。
数据集提供多维度数据,覆盖从原始感知数据到标注结果的全链条,具体包括:
- 原始感知数据:RGB 彩色图像、深度图像(Depth Images)、相机内参(Camera Intrinsics)、相机位姿(Camera Poses);
- 3D 模型数据:纹理化 3D 网格(Textured 3D Meshes)、PLY 格式语义网格(含实例级分割信息)、建筑平面图(Building Floor Plans);
- 标注数据:实例级对象分割标签(Instance-Level Object Segmentation)、区域类型分类标签(如 “厨房”“卧室”)、语义体素标签(Semantic Voxel Labels);
- 衍生工具数据:适配 Habitat 等平台的格式文件(如.glb 二进制格式、.house 分割文件),以及数据加载、可视化的配套代码。
项目地址:
6766



被折叠的 条评论
为什么被折叠?



