HOV-SG：构建精确开放词汇三维场景图，助力机器人语言导航

HOV-SG：构建精确开放词汇三维场景图，助力机器人语言导航

HOV-SG [RSS2024] Official implementation of "Hierarchical Open-Vocabulary 3D Scene Graphs for Language-Grounded Robot Navigation" 项目地址: https://gitcode.com/gh_mirrors/ho/HOV-SG

项目介绍

HOV-SG（Hierarchical Open-Vocabulary 3D Scene Graphs）是一个开源项目，旨在为大型多楼层环境构建精确的开放词汇三维场景图，使机器人能够根据语言指令在这些环境中有效地导航。该项目是论文《Hierarchical Open-Vocabulary 3D Scene Graphs for Language-Grounded Robot Navigation》的官方实现，已被接受为2024年荷兰代尔夫特举行的机器人：科学与系统（RSS）会议的论文。

项目技术分析

HOV-SG项目采用了以下几种核心技术：

1. Open CLIP模型：用于从RGB-D帧中提取特征，支持模型对图像和文本进行关联，增强场景理解。
2. SAM（Segment Anything Model）：用于生成RGB-D帧的类无关掩码，有助于更好地解析场景中的对象。
3. 场景图构建：通过分析收集到的数据，构建层次化的场景图，包含楼层、区域和对象级别的信息。

项目使用了多个公开数据集，包括Habitat Matterport 3D Semantics、ScanNet和Replica，以测试和验证方法的有效性。

项目技术应用场景

HOV-SG项目在以下场景中具有广泛应用潜力：

• 机器人导航：在复杂环境中，机器人可以根据语言指令进行导航，例如，寻找特定对象或前往特定地点。
• 增强现实（AR）：通过精确的场景图，AR应用可以提供更为丰富的交互体验。
• 智能家居：在智能家居系统中，机器人可以更好地理解家庭环境，执行更复杂的任务。

项目特点

HOV-SG项目具有以下显著特点：

1. 开放词汇：项目支持开放词汇的场景图构建，能够识别和表示大量不同类型的对象。
2. 层次化结构：场景图具有层次化结构，涵盖楼层、区域和对象级别，为机器人提供详细的环境信息。
3. 多数据集支持：项目支持多个公开数据集，可在不同环境中进行测试和验证。
4. 易于部署和使用：项目提供了详细的安装和使用说明，用户可以快速部署和使用。

总结来说，HOV-SG项目为机器人导航和场景理解领域提供了一个强大的工具，具有广泛的应用前景。通过其开放词汇和层次化场景图技术，有望推动相关领域的研究和应用发展。欢迎感兴趣的开发者和研究人员关注和尝试使用该项目。

HOV-SG [RSS2024] Official implementation of "Hierarchical Open-Vocabulary 3D Scene Graphs for Language-Grounded Robot Navigation" 项目地址: https://gitcode.com/gh_mirrors/ho/HOV-SG