训练 fast point transformer

最新推荐文章于 2024-11-08 23:48:29 发布
最新推荐文章于 2024-11-08 23:48:29 发布
阅读量1.4k 收藏 18
点赞数 5
CC 4.0 BY-SA版权
分类专栏： DeepLearning 文章标签： transformer 深度学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/level_code/article/details/126483933
这篇博客介绍了如何搭建并使用FastPointTransformer进行3D点云的语义分割。首先，详细阐述了安装CUDA和cuDNN的步骤，并在.bashrc中设置路径。接着，通过Anaconda创建fpt环境，克隆FastPointTransformer及依赖库MinkowskiEngine的代码。在设置好conda路径后，运行setup.sh进行构建。数据预处理部分，提到了使用S3DIS数据集，并对代码进行相应修改。训练阶段，配置了数据路径，使用wandb进行监控，并给出了训练命令。遇到内存不足问题时，可通过调整batch_size解决。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Fast point transformer用于3D点云的语义分割，
paper和github主页

github链接

安装cuda

首先要安装cuda，github上指定的是11.1
cuda tookit链接
cuDNN链接

cuda安装完以后记得在~/.bashrc中设置路径

export PATH=/usr/local/cuda-11.1/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-11.1/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export CUDA_HOME=/usr/local/cuda-11.1

然后更新一下

source ~/.bashrc
安装anaconda

这个就不用多说了，去anaconda官网下一个sh文件
anaconda链接

建立fpt 环境

运行fast point transformer的conda环境是fpt
先把github上代码clone下来，
但是注意，它的thirdparty/MinkowskiEngine给的是链接，clone下来文件夹是空的，
要把MinkowskiEngine的github代码也clone下来

修改conda路径，在setup.sh的这一行

source /opt/anaconda3/etc/profile.d/conda.sh # you may need to modify the conda path.

开始build啦

bash setup.sh fpt

这一步会安装很多包，极有可能出现time out的情况。
build完成以后会出现这样的界面。
（反正挺艰难的，很多time out，还有could not find cuda runtime之类）
在这里插入图片描述

准备数据集

可以用ScannetV2 和 S3DIS,
ScannetV2数据集有1.2T，所以选了S3DIS数据集。
把它下载下来，文件夹为Stanford3dDataset_v1.2

fast point transformer用的数据为ply格式，需要预处理，
在preprocess_scannet.py中修改input 和 output path。

python src/data/preprocess_scannet.py # you need to modify the data path

处理完以后会得到s3dis_processed文件夹

接下来要把src/data下面的meta_data copy出来，
新建一个s3dis的路径，
把meta_data 和 s3dis_processed放到里面去
在这里插入图片描述

s3dis的路径要写到./config/s3dis/train_default.gin

# Data module
S3DISArea5RGBDataModule.data_root = "/root/data/s3dis" # you need to modify this according to your data.
训练

train.py运行以后会提示你要不要用wandb，如果选的用，
它会提示在wandb主页上注册一个账号，然后复制一个key过来，
具体参考quick start主页
要在train.py的开头加上这样两句，不加的话wandb会报错

import wandb

wandb.init(project="my-test-project")

然后就开始训练啦

(fpt) ~/FastPointTransformer$ python train.py config/s3dis/train_fpt.gin

在这里插入图片描述
中间保存的weight在experiments文件夹里，ckpt文件

如果出现cuda run out of memory，可以把batch_size改小一点

S3DISArea5RGBDataModule.train_batch_size = 2
目标检测的Transformer结构，以及如何有效地利用Transformer提升目标检测性能
AI天才研究院
08-03 1755
2020年，无论是在科技领域还是商业界，机器学习已经成为当今最热门的方向之一。其涵盖了从数据分析到模型开发、优化等全生命周期过程，在解决复杂的问题上表现卓越。近几年，深度学习技术不断推动着机器视觉、自然语言处理等领域的快速发展。相比于传统机器学习算法，深度学习技术在识别任务上取得了显著的进步。例如，在目标检测领域，基于深度学习的方法，如Mask R-CNN、RetinaNet等，在COCO数据集上的准确率超过其他经典算法，并在AP指标上达到了新高度。
MATLAB算法实战应用案例精讲-【深度学习】预训练模型Transformer-XL&Longformer
qq_36130719的博客
07-28 926
在正式讨论Transformer-XL之前，我们先来看看经典的Transformer（后文称）是如何处理数据和训练评估模型的，如所示。图1 Vanilla Transformer 训练和评估阶段在方面，给定一串较长的文本串，会按照固定的长度（比如512），直接将该文本串进行划分成若干Segment。这个处理方式不会关注文本串中语句本身的边界（比如标点或段落），这样”粗暴”的划分通常会将一句完整的话切分到两个Segment里面，导致上下文碎片化（
point-transformer-pytorch:Pytorch中Point Transformer层的实现
04-12
点变压器-火炬 在Pytorch中实现自注意层。 上面的简单电路似乎允许他们的小组在点云分类和分割方面胜过所有以前的方法。 安装 $ pip install point-transformer-pytorch 用法 import torch from point_transformer_pytorch import PointTransformerLayer attn = PointTransformerLayer ( dim = 128 , pos_mlp_hidden_dim = 64 , attn_mlp_hidden_mult = 4 ) feats = torch . randn ( 1 , 16 , 128 ) pos = torch . randn ( 1 , 16 , 3 ) mask = torch . ones ( 1 , 16 ). bool
Fast Point Transformer：加速3D点云处理的利器
gitblog_01108的博客
09-15 935
Fast Point Transformer：加速3D点云处理的利器 FastPointTransformer 项目地址: https://gitcode.com/gh_mirrors/fa/FastPointTransform...
论文阅读 Point Transformer & Fast Point Transformer
Mrjdk的博客
11-23 1292
由于Transformer在NLP以及2D图像以及视频领域取得的成功，有学者便想着将其应用于3D点云中，本文将先后介绍以及两篇文章。后续文中将两者分别简称为和。
Fast Point Transformer阅读
qq_49130177的博客
03-15 557
由于全局自注意力的运算成本较高，因此在3D视觉任务中是不可行的。目前基于注意力的方法都是将大规模场景划分为小区域，然后将局部预测结果结合在一起，但这涉及额外的预处理和后处理阶段，且由于局部视角的预测，还会降低准确率。网络分为三个部分：1.点云进行质心感知体素化2.用局部自注意更新特征3.体素块进行质心感知去体素化pn:点坐标,in:原始特征vi:体素坐标,fi:体素特征,ci:质心坐标pn:点坐标,on:输出特征。
推荐文章：快速点变换——高效3D理解和处理的新里程碑
gitblog_00092的博客
05-26 345
推荐文章：快速点变换——高效3D理解和处理的新里程碑 FastPointTransformer 项目地址: https://gitcode.com/gh_mirrors/fa/FastPointTransformer ...
【多模态融合】Cross Modal Transformer: Towards Fast and Robust 3D Object Detection
cjy_colorful0806的博客
05-20 2836
多传感器融合在自动驾驶系统中展示了其巨大优势。不同的传感器通常能提供互补的信息。例如，摄像头以透视视角捕捉信息，图像中包含丰富的语义特征，而点云则提供更多的定位和几何信息。充分利用不同传感器有助于减少不确定性，从而进行准确和鲁棒的预测。 然而，由于不同模态的传感器数据在分布上的巨大差异，融合这些多模态数据一直是个挑战。当前的主流方法通常通过构建统一的鸟瞰图（BEV）表示来进行多模态特征融合，或通过查询令牌（Transformer架构）来实现多模态融合。
Cross Modal Transformer: Towards Fast and Robust 3D Object Detection
人无远虑，必有近忧
11-08 1521
在本文中，我们提出了一个完全端到端的框架用于多模态 3D 物体检测。它隐式编码将 3D 坐标转化为图像和点的标记云。通过坐标编码，简单而有效可采用主动DETR管道进行多模态融合以及端到端的学习。通过蒙面模态训练，我们的多模态检测器可以学习，具有很强的鲁棒性，即使错过了多种模式中的一种。我们希望这样的简单的管道设计可以提供更多关于端到端 3D 物体检测。
Vision Transformer综述翻译
Yore_的博客
03-30 2108
视觉Transformer综述 摘要 ​ Transformer是一种基于最初应用在自然语言处理领域上的自注意力机制的深度神经网络。受Transformer强表征能力的启发，研究人员将它扩展到计算机视觉任务上。与卷积网络和循环网络等其他网络类型相比，基于Transformer的模型在各种视觉基准上表现出竞争性甚至更好的性能。在这篇文献综述，我们通过将这些可视化Transformer模型应用在不同类别的任务中，并且对它们的优缺点进行了分析。特别地，主要类别包括基本图像分类、高级视觉、低级视觉和视频处理。也会
Point Transformer - Pytorch.zip
04-12
深度学习代码实战 —— Point Transformer - Pytorch.zip
基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar
11-17
【资源说明】 基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar 基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar 基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar 基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar 【备注】 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！有问题请及时沟通交流。 2、适用人群：计算机相关专业(如计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网、自动化、电子信息等)在校学生、专业老师或者企业员工下载使用。 3、用途：项目具有较高的学习借鉴价值，也适用于小白学习入门进阶。当然也可作为毕设项目、课程设计、大作业、初期项目立项演示等。 4、如果基础还行，或者热爱钻研，亦可在此项目代码基础上进行修改添加，实现其他不同功能。 欢迎下载，沟通交流，互相学习，共同进步！
FastPointTransformer 开源项目使用教程
gitblog_00054的博客
04-07 336
FastPointTransformer 开源项目使用教程 FastPointTransformer 项目地址: https://gitcode.com/gh_mirrors/fa/FastPointTransformer ...
基于MindSpore的PointTransformer代码实现
sh4175515的博客
06-20 687
作者借鉴了在自然语言处理领域取得巨大成就的Transformer模块，将其应用于三维点云处理领域的目标检测和语义分割。Point Transformer 模型框架如下图所示。本文主要设计了Transformer、TransitionDown和TransitionUp模块，并结合MLP在ModelNet40和ShapeNet数据集上取得了很好的效果。Transformer模块促进局部特征向量之间的信息交换，为所有数据点生成新的特征向量作为输出，并考虑特征向量的内容及其在三维空间中的分布。
point transformer笔记
luojio的博客
06-14 833
如何在点云中引入注意力机制 首先我们知道self-attention最主要的有k,q,v三个值，而点云又自带position，故只需要找出点云的k，q，v，然后按照self-attention的模式来计算重要程度即可。 文章作者就提出了这样一个公式，其中X为该点的k个邻居，xj为第j个邻居，而ϕ(xi)为该点xi的q值，ψ(xj) 为邻居xj的k值，两者相减再加上δ（位置编码），得到的值进行一个mlp（即γ函数）得到attention中的权重，再利用ρ（例如softmax）进行归一化处理，而α(xj)为v
FPT(Pretrained Transformer) 2022AAAI
大肉包的博客
09-29 1195
作者研究了在语言上预训练的Transformer以最少的微调泛化到其他模态的能力——特别是在没有微调residual blocks (Self-Attn和FFN Layers)的情况下。的参数进行微调，作者发现只fine-tune这些参数也可以达到和fine-tune所有参数一样的分类模型效果。对预训练模型进行所有参数的微调是一个很笨的工作，作者就在想有没有方法只fine-tune一部分参数就可以达到fine-tune所有参数的效果。ListOps：给定一系列的操作，判断最后输出的数字。
【三维点云】Point Transformer核心代码详细注释（自学记录）
controlourself的博客
04-17 3690
Point Transformer是一种基于注意力机制的点云处理方法。给定一个输入点云，Point Transformer将点云中每个点的位置信息和特征信息作为输入，然后通过一个带有多头注意力机制的Transformer模型来学习一个新的点云表示。通过 MLP 与位置编码引入了空间信息，并利用基于注意力机制的 Transformer 模型实现了关系学习任务，能够自适应地利用输入的局部点云信息学习全局特征表示。
point transformer
Chenyixun2的博客
01-18 473
point transformer
[实验bug记录]Point Transformer：/dev/shm
qq_41181679的博客
07-16 146
经查询，/dev/shm这个目录是linux下一个利用内存虚拟出来的一个目录，这个目录中的文件都是保存在内存中，而不是磁盘上，而/dev/shm的容量默认最大为内存的一半大小，而我当初只给ubuntu分配了16g的内存，因此shm目录只有8g的容量，而s3dis数据集有14g多的大小，因此，需要将该目录调大。方法1为一次性设置，当重启系统后，该目录会重新变为默认大小。查看该文件夹的属性发现已经没有剩余空间，所有空间都被占用。如果文件中有这行可以直接修改，没有可以在末尾直接添加即可。4）查看修改后的大小。
Transformer处理点云数据
最新发布
03-26
### 使用 Transformer 模型进行点云数据处理的方法和实现 #### 方法概述 Transformer 模型最初被设计用于自然语言处理领域，其核心机制是自注意力（Self-Attention），能够捕捉输入序列中任意两部分之间的关系。近年来，研究人员将其扩展至点云数据处理领域，取得了显著成果。以下是几种常见的方法及其技术细节： --- #### 1. **点云上采样** PU-Transformer 是首个将 Transformer 应用于点云上采样的工作[^1]。它通过以下两种创新模块解决了传统方法的局限性： - **Positional Fusion (PosFus) 模块**：该模块专注于提取与局部位置相关的信息，从而更好地保留点云的空间分布特性。 - **Shifted Channel Multi-head Self-Attention (SC-MSA)**：此模块改进了传统的多头自注意力机制，增强了不同 head 输出之间的关联性。 实验结果显示，PU-Transformer 能够有效恢复丢失的几何信息并生成高质量的稠密点云。 ```python import torch from pu_transformer import PU_Transformer # 初始化模型 model = PU_Transformer() # 输入稀疏点云 sparse_point_cloud = torch.randn(1, 1024, 3) # 上采样操作 dense_point_cloud = model(sparse_point_cloud) print(dense_point_cloud.shape) # 输出更密集的点云 ``` --- #### 2. **3D 语义分割** Fast Point Transformer 提供了一种高效的解决方案，适用于大规模点云数据的实时处理[^2]。它的主要特点是： - **高效性**：相比其他方法，推理速度快达 129 倍。 - **轻量化设计**：引入新型轻量级自注意力层，降低了计算复杂度。 - **灵活性**：支持动态调整体素尺寸以满足不同场景的需求。 代码示例如下： ```python from fast_point_transformer import FastPointTransformer # 加载预训练模型 segmentation_model = FastPointTransformer(pretrained=True) # 输入点云数据 input_points = torch.rand((1, 8192, 3)) # 执行语义分割 predictions = segmentation_model(input_points) print(predictions.shape) # 输出每一点对应的类别预测 ``` --- #### 3. **点云降噪** 在 PCT（Point Cloud Transformer）的工作中，作者进一步优化了 Input Embedding 模块，使其不仅能够学习全局特征，还能捕获局部信息[^3]。这种改进对于去除噪声点尤其重要，因为局部上下文有助于区分真实点和异常值。 具体而言，PCT 引入了 Neighbor Embedding 技术，模仿 PointNet++ 和 DGCNN 的局部信息聚合策略。这种方法提高了模型对细粒度结构的理解能力。 ```python from pct import PointCloudTransformer # 实例化去噪模型 denoising_model = PointCloudTransformer(task="denoise") # 输入含噪声的点云 noisy_point_cloud = torch.tensor([[...]]) # 替换为实际数据 # 处理后的干净点云 clean_point_cloud = denoising_model(noisy_point_cloud) print(clean_point_cloud.shape) # 输出净化后的点云 ``` --- #### 总结 上述三种方法展示了 Transformer 在点云数据处理中的广泛应用潜力。无论是上采样、语义分割还是降噪任务，Transformer 都凭借强大的建模能力和灵活的设计思路成为研究热点。 ---
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蓝羽飞鸟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值