训练 fast point transformer

论文阅读 Point Transformer & Fast Point Transformer 由于Transformer在NLP以及2D图像以及视频领域取得的成功,有学者便想着将其应用于3D点云中,本文将先后介绍以及两篇文章。后续文中将两者分别简称为和。 阅读详情

Fast point transformer用于3D点云的语义分割,
paper和github主页

github链接

安装cuda

首先要安装cuda,github上指定的是11.1
cuda tookit链接
cuDNN链接

cuda安装完以后记得在~/.bashrc中设置路径

export PATH=/usr/local/cuda-11.1/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-11.1/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export CUDA_HOME=/usr/local/cuda-11.1

然后更新一下

source ~/.bashrc
安装anaconda

这个就不用多说了,去anaconda官网下一个sh文件
anaconda链接

建立fpt 环境

运行fast point transformer的conda环境是fpt
先把github上代码clone下来,
但是注意,它的thirdparty/MinkowskiEngine给的是链接,clone下来文件夹是空的,
要把MinkowskiEngine的github代码也clone下来

修改conda路径,在setup.sh的这一行

source /opt/anaconda3/etc/profile.d/conda.sh # you may need to modify the conda path.

开始build啦

bash setup.sh fpt

这一步会安装很多包,极有可能出现time out的情况。
build完成以后会出现这样的界面。
(反正挺艰难的,很多time out,还有could not find cuda runtime之类)
在这里插入图片描述

准备数据集

可以用ScannetV2 和 S3DIS,
ScannetV2数据集有1.2T,所以选了S3DIS数据集。
把它下载下来,文件夹为Stanford3dDataset_v1.2

fast point transformer用的数据为ply格式,需要预处理,
在preprocess_scannet.py中修改input 和 output path。

python src/data/preprocess_scannet.py # you need to modify the data path

处理完以后会得到s3dis_processed文件夹

接下来要把src/data下面的meta_data copy出来,
新建一个s3dis的路径,
把meta_data 和 s3dis_processed放到里面去
在这里插入图片描述

s3dis的路径要写到./config/s3dis/train_default.gin

# Data module
S3DISArea5RGBDataModule.data_root = "/root/data/s3dis" # you need to modify this according to your data.
训练

train.py运行以后会提示你要不要用wandb,如果选的用,
它会提示在wandb主页上注册一个账号,然后复制一个key过来,
具体参考quick start主页
要在train.py的开头加上这样两句,不加的话wandb会报错

import wandb

wandb.init(project="my-test-project")

然后就开始训练啦

(fpt) ~/FastPointTransformer$ python train.py config/s3dis/train_fpt.gin

在这里插入图片描述
中间保存的weight在experiments文件夹里,ckpt文件

如果出现cuda run out of memory,可以把batch_size改小一点

S3DISArea5RGBDataModule.train_batch_size = 2
Fast-BEV:面向车载落地的轻量级BEV感知基线 BEV(鸟瞰图)感知是自动驾驶视觉理解的核心范式,其本质是将多视角图像特征几何一致地映射到统一3D空间。传统方法依赖显式深度估计与复杂时序建模,导致计算冗余、鲁棒性差、部署困难。Fast-BEV另辟蹊径,以‘工程呼吸感’为设计原点,通过自适应深度分布(ADD)、空间可变形溅射和极简BEV编码器,在保持高精度的同时显著提升推理效率与低信噪比场景下的稳定性。它不追求SOTA榜单微小提升,而是提供即插即用的工业级基线——支持动态分辨率缩放、雪花抑制、坐标系灵活配置,并已验证在nuScenes与RoboBEV基准上 阅读详情

相关推荐

VGGT:端到端3D几何推断的纯前馈Transformer

3D视觉重建长期依赖迭代优化(如Bundle Adjustment)和手工几何建模,导致延迟高、鲁棒性差、难以部署。VGGT(Visual Geometry Grounded Transformer)提出一种数据驱动的新范式:将三维空间关系直接编码进Transformer的注意力机制,摒弃位置编码与外部优化循环,实现单次前向传播即可输出相机位姿、深度图、稠密点云与3D轨迹。其核心在于几何约束嵌入的Alternating-Attention模块与多头强耦合解码器,保障跨任务几何一致性。该技术显著提升低延迟场景

weixin_34354945的博客 549

【三维点云】Point Transformer核心代码详细注释(自学记录)

Point Transformer是一种基于注意力机制的点云处理方法。给定一个输入点云,Point Transformer将点云中每个点的位置信息和特征信息作为输入,然后通过一个带有多头注意力机制的Transformer模型来学习一个新的点云表示。通过 MLP 与位置编码引入了空间信息,并利用基于注意力机制的 Transformer 模型实现了关系学习任务,能够自适应地利用输入的局部点云信息学习全局特征表示。

controlourself的博客 4079

point-transformer-pytorch:Pytorch中Point Transformer层的实现

点变压器-火炬 在Pytorch中实现自注意层。 上面的简单电路似乎允许他们的小组在点云分类和分割方面胜过所有以前的方法。 安装 $ pip install point-transformer-pytorch 用法 import torch from point_transformer_pytorch import PointTransformerLayer attn = PointTransformerLayer ( dim = 128 , pos_mlp_hidden_dim = 64 , attn_mlp_hidden_mult = 4 ) feats = torch . randn ( 1 , 16 , 128 ) pos = torch . randn ( 1 , 16 , 3 ) mask = torch . ones ( 1 , 16 ). bool

Fast Point Transformer阅读

由于全局自注意力的运算成本较高,因此在3D视觉任务中是不可行的。目前基于注意力的方法都是将大规模场景划分为小区域,然后将局部预测结果结合在一起,但这涉及额外的预处理和后处理阶段,且由于局部视角的预测,还会降低准确率。网络分为三个部分:1.点云进行质心感知体素化2.用局部自注意更新特征3.体素块进行质心感知去体素化pn:点坐标,in:原始特征vi:体素坐标,fi:体素特征,ci:质心坐标pn:点坐标,on:输出特征。

qq_49130177的博客 663

基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar

【资源说明】 基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar 基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar 基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar 基于Point Transformers复现点云分割任务及HAQ算法进行自动量化压缩python源码+运行说明.tar 【备注】 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用!有问题请及时沟通交流。 2、适用人群:计算机相关专业(如计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网、自动化、电子信息等)在校学生、专业老师或者企业员工下载使用。 3、用途:项目具有较高的学习借鉴价值,也适用于小白学习入门进阶。当然也可作为毕设项目、课程设计、大作业、初期项目立项演示等。 4、如果基础还行,或者热爱钻研,亦可在此项目代码基础上进行修改添加,实现其他不同功能。 欢迎下载,沟通交流,互相学习,共同进步!

Point Transformer - Pytorch.zip

深度学习代码实战 —— Point Transformer - Pytorch.zip

【亲测免费】 Fast Point Transformer:加速3D点云处理的利器

Fast Point Transformer:加速3D点云处理的利器 项目介绍 Fast Point Transformer 是由韩国POSTECH大学的计算机视觉实验室开发的一款高效3D点云处理工具。该项目在CVPR 2022上发表,提出了一种新的轻量级自注意力层,能够显著提升3D点云处理的计算效率。通过引入连续3D坐标的编码和基于体素哈希的架构,Fast Point Transformer在3...

gitblog_01108的博客 1091

Spring Boot 3.5.4 + LangChain4j实战:用Milvus搭建企业级RAG问答系统(附阿里百炼API配置)

本文详细介绍了如何利用Spring Boot 3.5.4、LangChain4j与Milvus构建企业级RAG问答系统。内容涵盖从架构设计、阿里百炼API安全配置、Milvus部署优化,到RAG检索、会话管理等核心实现,并提供了生产级API设计、监控集成及性能优化等实战经验,旨在帮助开发者打造高可用、可维护的Java AI应用。

weixin_29054399的博客 608

论文阅读笔记(16)---2022 CVPR Geometric Transformer for Fast and Robust Point Cloud Registration

CVPR2022 oral 点云配置

qq_39594939的博客 3893

ANSYS Fluent 2023R2实战:用欧拉多相流模型搞定流化床模拟(附详细参数避坑)

本文详细解析了ANSYS Fluent 2023R2中欧拉多相流模型在流化床模拟中的应用,包括模型选择、材料属性设置、相间作用力配置及初始化技巧。特别针对高颗粒浓度工况提供参数优化方案,帮助工程师提升模拟精度与效率,适用于化工、能源等领域的流化床反应器设计。

weixin_30938149的博客 267

概率论基础-严士健 第二版 习题与补充1.6答案

概率论基础-严士健 第二版 习题与补充1.6答案 1.不独立。 设有一均匀正八面体,其第1,2,3,4面染红色,第1,2,3,5面染白色,第1,6,7,8面染黑色,现在以A,B,C分别表示投一次正八面体出现红、白、黑的事件,则 P(A)=P(B)=P(C)=12.P(A) = P(B) = P(C) = \frac{1}{2}.P(A)=P(B)=P(C)=21​. P(ABC)=18=P(A)P...

weixin_42341993的博客 2515

Fast-BEV量化指南:PTQ与QAT int8技术如何让模型体积减少50%?

在自动驾驶和机器人感知领域,**Fast-BEV**(快速鸟瞰图感知)是一个革命性的实时3D视觉感知模型。对于需要部署在边缘设备上的应用来说,模型大小和推理速度至关重要。本文将深入探讨**Fast-BEV量化技术**,特别是**PTQ(后训练量化)**和**QAT(量化感知训练)int8**方法,这些技术能够将模型体积减少50%以上,同时保持高精度性能。 ## 为什么需要量化Fast-BEV模型

gitblog_01102的博客 1015

第15章 AI 产品原型设计 —— 让 AI 成为你的产品经理

理解产品需求- 将模糊的想法转化为具体的原型方案生成高质量原型- 输出符合设计规范的 HTML 原型提供设计建议- 基于 UX 最佳实践给出优化建议维护原型文档- 自动更新原型说明和变更记录。

快乐的修补匠的专栏 501

如何把Sonata预训练权重融入你的3D项目?从package模式安装到线性探针头完整指南

🎯 本文带你从零上手 **Sonata** —— CVPR 2025 Highlight 论文的官方仓库,提供基于 Point Transformer V3 的**自监督预训练点云模型权重**,支持快速接入自己的 3D 点云项目:从 package 模式安装、加载预训练权重,到用**线性探针头(Linear Probing Head)** 在 ScanNet 上跑通语义分割,一篇讲透。 [![

gitblog_00588的博客 212

SAP Gateway 故障排查全景图:从 Error Log 到 E2E 追踪,一套面向实战的工具与方法论

本文针对SAP Gateway Foundation(SAP_GWFND)的故障排查需求,梳理了从现象到根因的系统化排查路径。文章首先强调建立标准化排障流程的重要性,随后提供工具矩阵及使用顺序指引:对于请求中断优先查看Error Log(/IWFND/ERROR_LOG和/IWBEP/ERROR_LOG),性能问题使用Performance Trace(/IWFND/TRACES),通知异常则检查Notification Monitor。重点工具包括: Error Log作为中断类错误首要定位器; Appl

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 245

《R 语言卡方检验全解析:手写代码实现与详细步骤》卡方检验

卡方检验(Chi-Square Test)是一种常用的统计方法,主要用于检验分类变量之间的独立性或拟合优度。在医学、社会科学等领域中,卡方检验常用于分析两个或多个分类变量之间的关系。以下是卡方检验的全面解析,包括实现代码和手写公式。χ2∑Ei​Oi​−Ei​2​Oi​Ei​dfr−1c−1rcdfk−1k如果卡方统计量大于临界值,或 p 值小于显著性水平(如 0.05),则拒绝原假设。

Mrrunsen的博客 685

BERT:用于语言理解的深度双向 Transformer 预训练

Abstract摘要我们提出了一种新的语言表示模型,称为 BERT,即来自Transformer的双向编码器表示。与近期的语言表示模型(Peters et al., 2018a;Radford et al., 2018)不同,BERT 旨在通过在所有层中联合利用左右上下文,从无标注文本中预训练深度双向表示。因此,只需添加一个额外的输出层,即可对预训练的BERT模型进行微调,从而为包括问答和语言Inference在内的广泛任务创建最先进的模型,而无需对特定任务的架构进行实质性修改。

u013250861的博客 127

YOLOv11知识蒸馏实战:让小模型拥有大模型90%精度,速度提升3倍的终极教程

在self.alpha = alpha # 蒸馏损失权重self.temperature = temperature # 温度系数,控制分布平滑度# 输出分布蒸馏(KL散度损失)# 中间特征蒸馏(MSE损失,对齐中间层特征)# 总蒸馏损失知识蒸馏是YOLOv11在“小模型高性能部署”场景的“破局之法”——它让小模型能“站在大模型的肩膀上”,兼具速度与精度。从损失函数定义到多阶段训练,再到实战落地,本教程已为你铺就了一条清晰的路径。

m0_64661770的博客 800

Transformer架构原始经典论文:注意力机制就是你所需要的一切

本文提出 Transformer 模型,一种完全基于注意力机制的序列转换架构,以多头自注意力替代传统循环和卷积结构,实现序列全局依赖建模与高效并行计算。实验表明,Transformer 在 WMT 2014 英德、英法机器翻译任务中达到新的最先进水平,并展现出良好的泛化能力。该架构成为后续大规模自然语言处理模型发展的重要基础。

lihao2372的专栏 143

FPGA/IC秋招经典100题(含详解)

FPGA/IC秋招笔试面试经典100题(含答案及详解),持续更新。。。

Crazzy_M的博客 1万+

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

推荐文章:快速点变换——高效3D理解和处理的新里程碑

推荐文章:快速点变换——高效3D理解和处理的新里程碑 项目介绍 Fast Point Transformer 是一种创新的深度学习模型,致力于解决3D数据的处理问题,特别是在3D语义分割和3D检测方面。这个开源项目由POSTECH GSAI与CSE的研究团队开发,并在2022年CVPR会议上发表。它引入了一种轻量级的自注意力层,以高效的连续3D坐标编码和基于体素哈希的架构为特色。 项目技术分析 F...

gitblog_00092的博客 393

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Mid-360+FAST-LIO工程化建图:从点云到Nav2可用导航地图

激光SLAM建图是机器人自主导航的基础能力,其核心在于将原始传感器数据(如激光点云)经里程计估计、坐标变换与地图构建,转化为Nav2等导航栈可直接加载的栅格地图或OctoMap。这一过程涉及紧耦合激光-IMU里程计原理、坐标系链式变换、体素滤波与动态物体剔除等关键技术环节。工程实践中,点云质量、IMU时序同步精度、ROS2 QoS配置及地图分辨率匹配,共同决定导航地图的稳定性与部署可行性。本文聚焦Mid-360工业级激光雷达与FAST-LIO算法在真实场景下的全链路落地,深入解析点云预处理、七步TF变换、O

weixin_34355559的博客 342

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

π0.5——推理加强的统一模型:先高层预训练离散化token自回归预测子任务、后低层执行子任务(实时去噪生成连续动作)

今天一早,朋友圈刷到π0出0.5版本了,之后,我组建的「七月具身:π0复现微调交流群」群中,也在讨论这事,并说:七月老师要更新博客了这不就来了现在具身模型的发展 还不如大语言模型那样成熟π0 发新版了,意味着和Google的RT(大概率是不更了),以及figure(没开源过)等等——还有别的一些模型 没列举全,进入了少数迭代型的具身模型的行列。

结构之法 算法之道 1万+

dsh-purge 使用指南:系统提示词注入与宿主策略清洗如何一步步落地

你换了个模型重跑同一句提示词,答案还是那句拒绝,但你分不清这到底是模型本身不答,还是宿主在中间先扣下了请求。dsh-purge 就是为此而生的:它装在本机官方 DeepSeek Harness 上,做两件事——系统提示词注入和宿主策略清洗,把"宿主拦的"和"模型拒的"拆到两层,让你知道评测结果该记在谁头上。 ## 先分清宿主层与模型层:拦截到底发生在哪 DeepSeek Harness 不是单

gitblog_00273的博客 197

OrbitQuant:数据无关的扩散Transformer量化技术解析

模型量化作为深度学习模型压缩的核心技术,通过降低神经网络权重和激活值的数值精度来减少模型存储和计算开销。其基本原理是将高精度浮点数映射到低位宽整数表示,在保持模型性能的同时显著提升推理效率。在扩散Transformer(DiT)等生成式AI模型中,传统量化方法面临动态激活值分布的挑战,而OrbitQuant创新性地采用随机置换块哈达玛变换(RPBH)实现数据无关的量化方案。该技术通过理论分布指导的Lloyd-Max码本设计,在W4A4配置下实现接近无损的压缩效果,为图像和视频生成任务的边缘部署提供了实用的工

weixin_30512089的博客 355

VQGAN【视觉码本】:以感知压缩和对抗训练学习离散视觉词元,融合CNN局部归纳偏置与Transformer长程依赖建模,通过自回归预测视觉组成,用滑动注意力窗口实现条件控制与百万像素级图像生成

德国海德堡大学 IWR 图像处理协作实验室*Both authors contributed equally to this work*两位作者对本工作贡献相同 Figure 1: Figure 1. Our approach enables transformers to synthesize high-resolution images like this one, which contains 1280×460 pixels. 图 1:图 1。我们的方法使 Transformer 能够合成像这样的高分

u013250861的博客 65
上一篇: cuda11安装 nvidia-455配置报错 解决方法
下一篇: leetcode 342,326. Power of Four / three(4,3的次方)
蓝羽飞鸟
博客等级 码龄8年 1万+粉丝 727原创
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蓝羽飞鸟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值