SpatialLM项目安装与配置指南

SpatialLM项目安装与配置指南

【免费下载链接】SpatialLM SpatialLM: Large Language Model for Spatial Understanding 项目地址: https://gitcode.com/GitHub_Trending/sp/SpatialLM

1. 项目基础介绍

SpatialLM 是一个针对3D点云数据的大型语言模型，旨在处理3D点云数据并生成结构化的3D场景理解输出。这些输出包括墙壁、门、窗户以及带有语义类别的定向物体边界框。SpatialLM 能够处理来自不同来源的点云数据，如单目视频序列、RGBD图像和LiDAR传感器，通过其多模态架构有效地连接了非结构化的3D几何数据与结构化的3D表示，提供了高级别的语义理解能力。

项目主要使用的编程语言是Python。

2. 项目使用的关键技术和框架

• 3D点云处理：处理来自不同传感器和设备的3D点云数据。
• 多模态架构：结合了来自单目视频、RGBD图像和LiDAR等多种数据源的信息。
• 语义分割：对3D场景中的对象进行分类和边界框预测。
• 深度学习框架：使用了PyTorch深度学习框架进行模型训练和推理。
• TorchSparse：用于处理稀疏3D数据的库。

3. 项目安装和配置的准备工作与详细步骤

准备工作

在开始安装之前，请确保您的系统满足以下要求：

• Python 3.11
• PyTorch 2.4.1
• CUDA版本 12.4

安装步骤

1. 克隆项目仓库

   打开终端（或命令提示符），执行以下命令克隆项目仓库：

   git clone https://github.com/manycore-research/SpatialLM.git
   cd SpatialLM
   

2. 创建Conda虚拟环境

   创建并激活一个带有CUDA 12.4的Conda虚拟环境：

   conda create -n spatiallm python=3.11
   conda activate spatiallm
   conda install -y nvidia/label/cuda-12.4.0::cuda-toolkit conda-forge::sparsehash
   

3. 安装依赖

   安装项目所需的依赖：

   pip install poetry
   poetry config virtualenvs.create false --local
   poetry install
   poe install-torchsparse
   

   注意：构建torchsparse的轮文件可能需要一些时间。

4. 运行示例

   要运行一个示例，可以下载一个示例点云并执行推理：

   huggingface-cli download manycore-research/SpatialLM-Testset pcd/scene0000_00.ply --repo-type dataset --local-dir .
   python inference.py --point_cloud pcd/scene0000_00.ply --output scene0000_00.txt --model_path manycore-research/SpatialLM-Llama-1B
   

5. 可视化结果

   将预测的布局转换为Rerun格式并可视化：

   python visualize.py --point_cloud pcd/scene0000_00.ply --layout scene0000_00.txt --save scene0000_00.rrd
   rerun scene0000_00.rrd
   

按照以上步骤，您可以成功安装和配置SpatialLM项目，并开始运行示例或进行进一步的开发工作。

【免费下载链接】SpatialLM SpatialLM: Large Language Model for Spatial Understanding 项目地址: https://gitcode.com/GitHub_Trending/sp/SpatialLM