双SOTA分享 | RegFormer：基于投影感知的点云配准新方案！

最新推荐文章于 2025-04-08 23:17:01 发布
最新推荐文章于 2025-04-08 23:17:01 发布
阅读量341 收藏 1
点赞数
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247565077&idx=2&sn=6a0d9b811ff63783744940099b4f8a01&chksm=ceb9d2dcf9ce5bca2128c953df291c0af460de049bb245b6533d7c9b02db3509e2ec8d9ee122&scene=126&sessionid=0

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

今天自动驾驶之心邀请来了上海交通大学研究生—刘久铭，为大家分享ICCV2023中稿的点云配准新方案RegFormer！

如果您有兴趣分享相关学术成果，请联系AIDriver002！

直播作者为『自动驾驶之心知识星球』特邀嘉宾，PPT和视频将在星球内公布！

107522f8651404f49a1174efd3e0ae05.png

2) 哔哩哔哩关注自动驾驶之心，预约直播

dc704ec369b95e9ea80793bba701a00d.png

自动驾驶之心B站

【自动驾驶之心】平台矩阵，欢迎联系我们！

4cbb07d6aa991319e77130356d9d5776.jpeg

所有指标全面领先！图像-点云配准最新SOTA！CoFiI2P详细介绍！
3D视觉工坊
10-18 668
作者：大森林 | 来源：3D视觉工坊在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf。添加微信：dddvisiona，备注：3D点云 ，拉你入群。文末附行业细分群。1. 笔者总结本文介绍了 CoFiI2P，这是一种新颖的图像到点云（I2P）配准网络。传统的I2P配准方法通常在点到像素级别估计对应关系，但忽略了全局关系，这往往导致陷入局部最优解。为了解决这个问题，CoFiI2P采用分层...
CVPR2024-7-点云配准“Multiway Point Cloud Mosaicking with Diffusion and Global Optimization”
weixin_43899239的博客
11-15 1105
文章摘要：我们引入了一种新的(命名为Wendnesday)，旨在将部分重叠的点云集(通常从3d扫描仪或移动rgb-d相机获得)协同对齐到一个统一的坐标系中。我们方法的核心是，这是一种，它迭代地识别重叠和细化注意力分数，采用基于扩散的过程对成对相关矩阵进行去噪以提高匹配精度。进一步的步骤包括从所有点云构建姿势图，执行旋转平均，这是一种新的鲁棒算法，用于在共识最大化和翻译优化方面最佳地重新估计翻译。最后，通过基于扩散的方法联合优化点云旋转和位置。
激光点云配准算法——Cofinet / GeoTransforme / MAC
weixin_44580210的博客
06-10 1754
激光点云配准算法——Cofinet / GeoTransformer / MAC GeoTransformer + MAC是当前最SOTA的点云匹配算法，在之前我用总结过视觉特征匹配的相关算法 视觉SLAM总结——SuperPoint / SuperGlue 本篇博客对Cofinet、GeoTransformer、MAC三篇论文进行简单总结 1. Cofinet Cofinet发表于2021年ICCV，原文为《CoFiNet: Reliable Coarse-to-fine Correspondences
NeurIPS'24开源 | 无惧遮挡！多实例点云配准新SOTA！简单而强大的3D聚焦和匹配网络...
3D视觉工坊
11-15 356
点击下方卡片，关注「3D视觉工坊」公众号选择星标，干货第一时间送达来源：3D视觉工坊添加小助理：cv3d001，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。扫描下方二维码，加入「3D视觉从入门到精通」知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门秘制视频课程、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，...
RegFormer：用于大规模点云配准的高效投影感知Transformer网络
NPU 研0
08-18 1522
2023年ICCV论文RegFormer的论文解读，点云配准工作背景，网络结构，实验分析
武大&港大提出FreeReg：预训练扩散大模型取得点云-图像配准SoTA！
阿木寺的博客
10-28 1034
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【图像分割和Transformer】交流群作者：大瓶子（源：知乎，已授权）| 编辑：CVerhttps://zhuanlan.zhihu.com/p/660264998在CVer微信公众号后台回复：FreeReg，可以下载本论文pdf、代码，学起来！介绍一下我们最新开源的工作：FreeReg: Image-to-...
ICCV 2023 | RegFormer：大规模点云配准的高效Transformer网络
CV_Autobot的博客
08-16 2424
作者|汽车人 编辑|自动驾驶与AI点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【点云处理】技术交流群本文只做学术分享，如有侵权，联系删文❝论文：https://arxiv.org/pdf/2303.12384.pdf代码：https://github.com/IRMVLab/RegFormer作者单位：上海交通大学 中国矿业大学 ETH Zur...
UDPReg：无监督深度概率配准框架，效果超强！
soaring_casia的专栏
05-31 1297
这篇无监督的点云配准论文最终的效果不错，通过经典的编码器和解码器架构进行创新，利用GMMs及三种损失函数将无监督的点云配准结果推向新的高度。
迈向『闭环』| PlanAgent：基于MLLM的自动驾驶闭环规划新SOTA！
leyang0910的博客
06-11 1431
中科院自动化所深度强化学习团队联合理想汽车等提出了一种新的基于多模态大语言模型MLLM的自动驾驶闭环规划框架—PlanAgent。该方法以场景的鸟瞰图和基于图的文本提示为输入，利用多模态大语言模型的多模态理解和常识推理能力，进行从场景理解到横向和纵向运动指令生成的层次化推理，并进一步产生规划器所需的指令。在大规模且具有挑战性的nuPlan基准上对该方法进行了测试，实验表明PlanAgent在常规场景和长尾场景上都取得了最好(SOTA)性能。
【亲测免费】 探索未来驾驶：3D点云SOTA技术开源项目
gitblog_00036的博客
06-24 493
探索未来驾驶：3D点云SOTA技术开源项目 在自动驾驶与智能交通领域，3D点云处理是至关重要的核心技术之一。它为车辆提供了对周围环境的精准理解，让AI能够"看见"并解析出复杂的道路场景。如今，一个综合性的开源项目——3D-Point-Clouds，将带你走进这个领域的最前沿。 项目简介 3D-Point-Clouds 是一个由双愚(@HuangCongQing)维护的开源项目，...
跨数据集配准SOTA，解锁LiDAR点云配准中的泛化能力
人无远虑，必有近忧
04-08 223
本文揭示了LiDAR场景中不一致的几何表示导致交叉注意力模块限制了网络的泛化能力。基于这一发现，我们提出了UGP，一种剪枝框架，旨在增强LiDAR点云配准的泛化能力。UGP消除了交叉注意力，引入了渐进式自注意力模块和BEV特征提取模块，使网络能够优先考虑局部空间关联并捕捉场景元素的语义信息。这减少了点云中的歧义，并提升了泛化性能。大量实验表明，我们的方法有效应对了不同数据分布带来的挑战，包括跨距离和跨数据集场景。p_ip_j。
You Only Hypothesize Once: 用旋转等变描述子估计变换做点云配准(已开源)
3D视觉工坊
08-01 560
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨大瓶子@知乎来源丨https://zhuanlan.zhihu.com/p/547183305编辑丨3D视觉工坊宣传一下我们ACM MM 2022的论文：You Only Hypothesize Once: Point Cloud Registration with Rotation-equivariant De...
CVPR2023 最佳论文候选 | 使用最大团约束进行点云配准
专注计算机视觉全栈知识分享
06-05 1853
在这篇论文中，研究者提出了MAC方法，通过使用最大团约束从对应关系中生成精确的姿态假设来解决PCR问题。论文的方法在所有测试数据集上实现了最先进的性能，并且能够适应深度学习方法以提升它们的性能。然而，如表7和表1所示，MAC可能会偶尔无法找到准确的假设。未来的工作包括开发一种更可靠的假设评估技术，利用语义信息来提高性能。
[阅读笔记]稀疏视图CT重建的基于变换器的迭代重建模型
weixin_45640940的博客
10-30 1682
miccai2022ldct
ICCV2023 paper list 汇总！OCC感知/端到端/V2X/3D检测/分割等
CV_Autobot的博客
08-10 4737
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取仓库链接：https://github.com/autodriving-heart/ICCV2023-Papers-autonomous-drivingICCV2023 paper listICCV2023结果陆续都出来了，收到了很多朋友中稿的消息，ICCV 2023今年一共收录 2100多篇，自动驾驶之心也第一时间进行了跟进，将已...
线性 Transformer变长思路LongFormer、BigBird、LongNet、Reformer、cosFormer、GAU、RWKV、Mamba
taoqick的专栏
03-03 1659
线性 Transformer变长思路汇总Dilated Sliding window、LongFormer、BigBird、LongNet、Reformer、GAU、RWKV
全面超越稀疏卷积！最新点云Transformer方法准确性实现SOTA，速度快4倍
学姐带你玩AI的博客
03-14 4148
在图像处理领域，Transformer能够有效应对点云数据的不规则性和无序性，并且通过自注意力机制，捕捉全局信息，从而更好地理解点云数据的整体结构和特征。因此，对比稀疏卷积，点云Transformer拥有对非结构化数据的处理能力、较大的感受野、高效的设计和全局注意力机制。鉴于这些优势，研究者已经提出了多种基于Transformer的架构用于点云分类、分割、检测、跟踪、配准以及补全等任务。比如一个非常高效的Transformer方法。
探索前沿技术：SoTA-Point-Cloud —— 高效处理点云数据的新框架
gitblog_00099的博客
03-25 815
探索前沿技术：SoTA-Point-Cloud —— 高效处理点云数据的新框架 在这个3D视觉和自动驾驶日益重要的时代，处理点云数据的能力变得至关重要。而是一个集成了最新研究和创新的点云处理框架，旨在为开发者提供高效、灵活且易于使用的工具，以实现对3D点云数据的各种操作和分析。 项目简介 SoTA-Point-Cloud 是一个基于 Python 的开源库，专注于点云处理与分析的前沿技术。它包含了...
C#类库封装：简化SDK调用实现多功能集成，构建地磅无人值守系统
最新发布
07-24
内容概要：本文介绍了利用C#类库封装多个硬件设备的SDK接口，实现一系列复杂功能的一键式调用。具体功能包括身份证信息读取、人证识别、车牌识别（支持臻识和海康摄像头）、LED显示屏文字输出、称重数据读取、二维码扫描以及语音播报。所有功能均被封装为简单的API，极大降低了开发者的工作量和技术门槛。文中详细展示了各个功能的具体实现方式及其应用场景，如身份证读取、人证核验、车牌识别等，并最终将这些功能整合到一起，形成了一套完整的地磅称重无人值守系统解决方案。 适合人群：具有一定C#编程经验的技术人员，尤其是需要快速集成多种硬件设备SDK的应用开发者。 使用场景及目标：适用于需要高效集成多种硬件设备SDK的项目，特别是那些涉及身份验证、车辆管理、物流仓储等领域的企业级应用。通过使用这些封装好的API，可以大大缩短开发周期，降低维护成本，提高系统的稳定性和易用性。 其他说明：虽然封装后的API极大地简化了开发流程，但对于一些特殊的业务需求，仍然可能需要深入研究底层SDK。此外，在实际部署过程中，还需考虑网络环境、硬件兼容性等因素的影响。
用ICP处理kitti数据集
06-27
### 点云配准与 ICP 算法概述 ICP（Iterative Closest Point）算法是一种经典的点云配准方法，广泛用于三维重建、SLAM 和姿态估计等领域。该算法通过迭代优化来最小化两个点云之间的欧氏距离，通常涉及旋转和平移变换以实现对齐[^2]。 在处理 KITTI 数据集时，ICP 算法可以用于估计两帧点云之间的相对位姿（旋转矩阵 R 和平移向量 T），从而实现点云的配准和运动估计。 ### KITTI 数据集简介 KITTI 数据集是自动驾驶领域常用的数据集之一，包含多传感器数据（如激光雷达、相机、IMU 等）。其中，Velodyne 提供的点云数据为 3D 点坐标（x, y, z），通常以 `.bin` 文件格式存储。每帧点云表示一个时刻的 LiDAR 扫描结果。 ### 使用 ICP 处理 KITTI 数据集的步骤 #### 1. 数据预处理 首先需要读取 KITTI 数据集中两帧点云数据，并进行必要的预处理： ```python import numpy as np def read_bin_file(file_path): # 读取 .bin 文件并转换为 Nx3 的点云数组 point_cloud = np.fromfile(file_path, dtype=np.float32) point_cloud = point_cloud.reshape(-1, 4)[:, :3] # 去除强度信息 return point_cloud ``` #### 2. 初始对齐 由于 ICP 对初始位置敏感，建议使用粗配准方法（如特征匹配或地面真值位姿）提供初始变换矩阵。例如，在 KITTI 中可以使用提供的 `poses.txt` 文件中的位姿作为初始估计。 #### 3. 应用 ICP 算法 以下是一个基于 Open3D 的 ICP 实现示例： ```python import open3d as o3d def icp_registration(source, target, initial_transform=None): source_pcd = o3d.geometry.PointCloud() target_pcd = o3d.geometry.PointCloud() source_pcd.points = o3d.utility.Vector3dVector(source) target_pcd.points = o3d.utility.Vector3dVector(target) threshold = 0.2 # 距离阈值 if initial_transform is None: initial_transform = np.identity(4) reg_p2p = o3d.pipelines.registration.registration_icp( source_pcd, target_pcd, threshold, initial_transform, o3d.pipelines.registration.TransformationEstimationPointToPoint(), o3d.pipelines.registration.ICPConvergenceCriteria(max_iteration=200) ) transformation = reg_p2p.transformation fitness = reg_p2p.fitness inlier_rmse = reg_p2p.inlier_rmse return transformation, fitness, inlier_rmse ``` #### 4. 获取配准后的点云和位姿 应用上述函数后，可以获取当前帧相对于目标帧的变换矩阵，并将源点云变换到目标坐标系中： ```python transformation_matrix, _, _ = icp_registration(source_points, target_points, initial_transform) aligned_source = source_points @ transformation_matrix[:3, :3].T + transformation_matrix[:3, 3] ``` #### 5. 可视化配准结果 Open3D 提供了可视化功能，可用于查看配准效果： ```python def visualize_registration(source, target, transformation): source_pcd = o3d.geometry.PointCloud() target_pcd = o3d.geometry.PointCloud() source_pcd.points = o3d.utility.Vector3dVector(source) target_pcd.points = o3d.utility.Vector3dVector(target) source_pcd.paint_uniform_color([1, 0, 0]) # 红色表示源点云 target_pcd.paint_uniform_color([0, 1, 0]) # 绿色表示目标点云 source_pcd.transform(transformation) o3d.visualization.draw_geometries([source_pcd, target_pcd]) ``` ### 注意事项 - **初始变换**：ICP 算法对初始变换非常敏感，若初始位姿偏差较大可能导致收敛失败。 - **降采样与滤波**：为提高效率，可在配准前对点云进行降采样或使用体素滤波。 - **异常值剔除**：ICP 对异常值敏感，可结合 RANSAC 或统计滤波进行预处理。 - **大规模场景限制**：ICP 在大规模点云或远距离场景下可能不适用，此时可考虑深度学习方法如 RegFormer[^3]。 ### 性能评估指标 - **Fitness Score**：表示配准后重叠区域的比例，值越大越好。 - **Inlier RMSE**：表示配准内点的均方根误差，越小越好。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值