PCL:三维计算视觉研究内容概述

基于PCL的三维重建——点云配准(一)ICP算法实现 在逆向工程,计算机视觉,文物数字化等领域中,由于点云的不完整,旋转错位,平移错位等,使得要得到的完整的点云就需要对局部点云进行配准,为了得到被测物体的完整数据模型,需要确定一个合适的坐标系,将从各个视角得到的点集合并到统一的坐标系下形成一个完整的点云,然后就可以方便进行可视化的操作,这就是点云数据的配准。点云的配准有手动配准依赖仪器的配准,和自动配准,点云的自动配准技术是通过一定的算法或者统计学规 阅读详情

三维计算视觉研究内容包括:

  1)三维匹配:两帧或者多帧点云数据之间的匹配,因为激光扫描光束受物体遮挡的原因,不可能通过一次扫描完成对整个物体的三维点云的获取。因此需要从不同的位置和角度对物体进行扫描。三维匹配的目的就是把相邻扫描的点云数据拼接在一起。三维匹配重点关注匹配算法,常用的算法有最近点迭代算法 ICP和各种全局匹配算法。

    

  2)多视图三维重建:计算机视觉中多视图一般利用图像信息,考虑多视几何的一些约束,射影几何和多视图几何是视觉方法的基础,在摄影测量中类似的存在共线方程。光束平差法是该类研究的核心技术。这里也将点云的多视匹配放在这里,比如人体的三维重建,点云的多视重建不再是简单的逐帧的匹配,还需要考虑不同角度观测产生误差累积,因此存在一个针对三维模型进行优化或者平差的过程在里面。多视图三维重建这里指的只是静态建模,输入是一系列的图像或者点云集合。可以只使用图像,或者只使用点云,也可以两者结合(深度图像)实现,重建的结果通常是Mesh网格。

  • SFM(运动恢复结构) vs Visual SLAM  [摘抄] SFM 和 Visual SLAM
  • Multi-View Stereo (MVS)多视图立体视觉,研究图像一致性,实现稠密重建。

    

   

  3)3D SLAM

  按照传感器类型分类:可以分为基于激光的SLAM和基于视觉的SLAM。

  基于激光的SLAM可以通过点云匹配(最近点迭代算法 ICP、正态分布变换方法 NDT)+位姿图优化(g2o、LUM、ELCH、Toro、SPA)来实现;实时激光3D SLAM算法 (LOAM,Blam,CartoGrapher等);Kalman滤波方法。通常激光3D SLAM侧重于定位,在高精度定位的基础上可以产生3D点云,或者Octree Map。

   

  基于视觉(单目、双目、鱼眼相机、深度相机)的SLAM,根据侧重点的不同,有的侧重于定位,有的侧重于表面三维重建。不过都强调系统的实时性。

  (1)侧重于定位的VSLAM系统比如orbSLAM,lsdSLAM;VINS是IMU与视觉融合的不错的开源项目。

  

  (2)侧重于表面三维重建SLAM强调构建的表面最优,或者说表面模型最优,通常包含Fusion融合过程在里面。通常SLAM是通过观测形成闭环进行整体平差实现,优先保证位姿的精确;而VSLAM通过Fusion过程同时实现了对构建的表面模型的整体优化,保证表面模型最优。最典型的例子是KinectFusion,Kinfu,BundleFusion,RatMap等等。

  (4)目标检测与识别:无人驾驶汽车中基于激光数据检测场景中的行人、汽车、自行车、道路(车道线,道路标线,路边线)以及道路设施(路灯)和道路附属设施(行道树等)。这部分工作也是高精度电子地图的主要内容。当然高精度电子地图需要考虑的内容更多。同时室内场景的目标识别的研究内容也很丰富,比如管线设施,消防设施等。

  

  (5)形状检测与分类:点云技术在逆向工程中有很普遍的应用。构建大量的几何模型之后,如何有效的管理,检索是一个很困难的问题。需要对点云(Mesh)模型进行特征描述,分类。根据模型的特征信息进行模型的检索。同时包括如何从场景中检索某类特定的物体,这类方法关注的重点是模型。

  (6)语义分类:获取场景点云之后,如何有效的利用点云信息,如何理解点云场景的内容,进行点云的分类很有必要,需要为每个点云进行Labeling。可以分为基于点的分类方法和基于分割的分类方法。从方法上可以分为基于监督分类的技术或者非监督分类技术,深度学习也是一个很有希望应用的技术。最近深度学习进行点云场景理解的工作多起来了,比如PointNet,各种八叉树的Net。

(7)双目立体视觉与立体匹配 ZNCC:立体视觉(也称双目视觉)主要研究的两个相机的成像几何问题,研究内容主要包括:立体标定(Stereo Calibration)、立体校正(Stereo Rectification)和立体匹配(Stereo Matching)。目前,立体标定主要研究的已经比较完善,而立体匹配是立体视觉最核心的研究问题。按照匹配点数目分类,立体匹配可分为稀疏立体匹配(sparse stereo matching)和密集立体匹配(dense stereo matching)。稀疏立体匹配由于匹配点数量稀少,一般很难达到高精度移动测量和环境感知的要求。因此,密集立体匹配是学术界和工业界的主要研究和应用方向。

参考:https://mp.weixin.qq.com/s/cOHAQX12k19eogxfpk95tA

(8)自动造型(构型),快速造型(构型)技术。对模型进行凸分割,模型剖分,以实现模型进一步的编辑修改,派生出其他的模型。

(9)摄像测量技术,视频测量


 

1、点云滤波方法(数据预处理):

双边滤波、高斯滤波、条件滤波、直通滤波、随机采样一致性滤波。

VoxelGrid

2、关键点

ISS3D、Harris3D、NARF,

SIFT3D、均匀采样,曲率方法采样

3、特征和特征描述

法线和曲率计算  NormalEstimation 、特征值分析Eigen-Analysis、EGI

PFH、FPFH、3D Shape Context、Spin Image

4、点云匹配

ICP、稳健ICP、point to plane ICP、Point to line ICP、MBICP、GICP、NICP

NDT 3D、Multil-Layer NDT

FPCS、KFPCS、SAC-IA

Line Segment Matching、ICL

5、点云分割与语义分类

分割:区域生长、八叉树区域生长、Ransac线面提取、NDT-RANSAC、全局优化平面提取

   K-Means、Normalize Cut(Context based)

   3D Hough Transform(线、面提取)、连通分析、

分类:基于点的分类,基于分割的分类;监督分类与非监督分类

目前基于深度学习的点云语义分类比较热:PointNet,OctNet之类的吧,需要多加关注。

6、SLAM图优化

Ceres(Google的最小二乘优化库,很强大), g2o、LUM、ELCH、Toro、SPA

SLAM方法:ICP、MBICP、IDC、likehood Field、Cross Correlation、NDT

7、目标识别、检索

  Hausdorff距离计算(人脸识别),Graph Matching

8、变化检测

  基于八叉树的变化检测

9. 三维重建

  泊松重建、 Delaunay triangulations

  表面重建,人体重建,建筑物重建,树木重建。

  结构化重建:不是简单的构建一个Mesh网格,而是为场景进行分割,为场景结构赋予语义信息。场景结构有层次之分,在几何层次就是点线面等几何图元。

  实时重建:重建植被或者农作物的4D(3D+时间)生长态势;人体姿势识别;表情识别;

10.点云数据管理

  点云压缩,点云索引(KD、Octree),点云LOD(金字塔),海量点云的渲染


   

  点云驱动的计算机图形学主要研究应用 http://vcc.szu.edu.cn/research/2015/Points/  

PCL实战记录(二) 三维识别与乱序抓取 PCL 实战记录 (一) 目录PCL 实战记录 (一)1、三维点云预处理2、计算法线3、计算关键点4、计算SHOT描述子5、计算配对点对6、寻找匹配点7、输出结果8、完整代码 1、三维点云预处理 为了较好的完成三维识别与乱序抓取,点云输入前需要进行一定的预处理,主要包括: A、点云采样; B、点云滤波; C、点云分割; 以上内容参见上篇:PCL 实战记录 (一). 2、计算法线 计算法线 nor... 阅读详情

相关推荐

【PCL】SolidWorks 三维建模 STL, OBJ 采样生成 PCD 点云数据(附源码)

[PCL自学篇] 一.SolidWorks三维建模STL,OBJ采样生成PCD点云数据新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 这阵子做线结构光视觉检测(轨道)项目的过程中,发现之前的许多知识点在逐渐遗忘,常言好记性

idiot5lie的博客 1万+

点云数据处理学习笔记

三维计算视觉研究内容包括:   1)三维匹配:两帧或者多帧点云数据之间的匹配,因为激光扫描光束受物体遮挡的原因,不可能通过一次扫描完成对整个物体的三维点云的获取。因此需要从不同的位置和角度对物体进行扫描。三维匹配的目的就是把相邻扫描的点云数据拼接在一起。三维匹配重点关注匹配算法,常用的算法有最近点迭代算法 ICP和各种全局匹配算法。        2)多视图三维重建:计算机视觉中多视图一般...

weixin_34088583的博客 1095

PCL三维重建笔记

三维重建的三种方法: KinectFusion,直接获取人体的三维点云数据,但获得的点云分散而模糊 Opencv、OpenNI,操作过程过于繁琐、配置环境过于复杂 利用Processing软件编程,通过导入SimpleOpenNI库,连接Kinect就可以直接获得三维模型 相机标定: 相机标定得到的内参仅仅是对相机物理特性的“近似” 传统相机标定假设相机是小孔成像模型,一般使用两种...

一只特立独行的猪 6338

点云配准方法:ICP与GICP

ICP已经成为点云配准的主流算法,因此,这两天测试了PCL库中的两个ICP函数: pcl::GeneralizedIterativeClosestPoint< PointSource, PointTarget > pcl::IterativeClosestPoint< PointSource, PointTarget >  GICP的用法和ICP类似,照...

SUJI的博客 9645

Ubuntu20.04安装PCL

心态爆炸的安装PCL库

m0_58235748的博客 8265

点云处理实操 三维重建(一)

点云处理实操 三维重建(一)

cangqiongxiaoye的博客 903

PCL 点云匹配 2 之NICP(Normal ICP)

NICP原理探索

weixin_39354845的博客 2620

PCL 点云边界提取【2026最新版】

PCL 中基于法线实现的点云边界提取。博客长期更新,最近一次更新时间为:2026年6月11日。

点云侠的博客 38万+

pcl点云匹配ICP、NICP、NDT用法实例C++

pcl常见点云匹配方法使用方式,包括ICP、NICP、NDT。总结了下pcl常用的点云匹配方法,后续遇到新的再继续更新。总体上NDT耗时会长很多,效果上三者孰优孰劣不好说,听说在开源领域,NICP是效果最好的ICP匹配方法。

weixin_39425383的博客 1070

三维点云法向量计算:PCL中的实现与应用

在三维空间中,点云是由无数个点的集合组成的,这些点通常由其在三维空间中的X、Y、Z坐标来描述。点云模型是现实世界表面的数字化表示,常被用于计算机图形学、计算机视觉、机器人学和许多其他领域。而法向量是三维空间中垂直于某表面的一个向量,用于表示表面的方向。在点云处理中,法向量是一个重要的属性,因为它能够提供关于点云表面的方向信息,对于诸如表面重建、曲面分类、特征提取等任务至关重要。PCL是一个开源的大型库,提供了大量用于点云处理的算法,包括滤波、特征估计、表面重建、模型拟合等。

weixin_42594419的博客 877

三维点云处理:PCL库完全教程

PCL(Point Cloud Library)是一个开源的库,专门用于2D/3D图像处理和点云处理。它提供了丰富的算法用于过滤、特征提取、表面重建、模型拟合以及对象识别等操作。PCL库起源于2009年,最初作为ROS(Robot Operating System)的一部分进行开发,之后逐渐发展成为一个独立的项目,目前已经成为开源社区中最活跃的3D处理库之一。PCL库的架构分为核心库和模块化组件。核心库负责基本数据结构和通用处理,如点云数据结构和内存管理。

weixin_35516273的博客 2247

三维重建:三维重建技术概述

基于视觉的三维重建,指的是通过摄像机获取场景物体的数据图像,并对此图像进行分析处理,再结合计算机视觉知识推导出现实环境中物体的三维信息。 1. 相关概念 (1)彩色图像与深度图像 彩色图像也叫作RGB图像,R、G、B三个分量对应于红、绿、蓝三个通道的颜色,它们的叠加组成了图像像素的不同灰度级。RGB颜色空间是构成多彩现实世界的基础。深度图像又被称为距离图像,与灰度图像中像素点存储亮度值不同,...

YBAdiam的博客 2610

百度飞桨+文心大模型实战:生成式AI工程师认证备考全攻略(含真题解析)

本文详细解析百度飞桨与文心大模型结合的生成式AI工程师认证备考策略,涵盖认证体系、学习路径、核心技能突破及真题分析。帮助开发者掌握大模型原理、飞桨平台操作和文心大模型应用,高效通过工信部与百度联合认证考试。

loss4bartender的博客 682

三维重建技术概述

基于视觉的三维重建,指的是通过摄像机获取场景物体的数据图像,并对此图像进行分析处理,再结合计算机视觉知识推导出现实环境中物体的三维信息。1. 相关概念(1)彩色图像与深度图像彩色图像也叫作RGB图像,R、G、B三个分量对应于红、绿、蓝三个通道的颜色,它们的叠加组成了图像像素的不同灰度级。RGB颜色空间是构成多彩现实世界的基础。深度图像又被称为距离图像,与灰度图像中像素点存储亮度值不同,其像素点存储的

shiter编写程序的艺术 7万+

贝叶斯时空模型-INLA-4

该文章中,会简化数学计算的过程,主要是针对,在有数据的基础上,如何应用贝叶斯时空模型,找出影响因素,绘制时间变化的空间分布预测图。上述中关键一步与前几期介绍的不一样的地方是,我们加入了n.group参数,用来指定年份,先看一下Year有多少年的,然后封装在s.index里面。在前述的内容中,我们介绍了,如何处理空间的数据,利用海拔高度预测降雨量的例子。建立好数据及mesh以后,我们现在写INLA公式,如果不考虑残差项,那就是固定效应,现在我们增加残差项,及空间与时间效应。这里的Mesh设定值为10,20。

学习中 2948

《QT+PCL 第一章》:点云读取显示

点云读取显示一、核心代码二、QT设置三、效果展示 一、核心代码 二、QT设置 三、效果展示

阁楼 1万+

三维视觉和三维点云基础概念

本篇文章为学习笔记(知识点整理),内容非原创,部分内容转载自以下博客链接 三维视觉研究什么_惊鸿一博-优快云博客_三维视觉 北大陈宝权教授:三维视觉前沿进展与应用 - 知乎 3D目标检测与视觉SLAM的区别与联系是什么?研一新生目前还在这两个方向上犹豫,前辈们能否提供点建议? - 知乎 ...

m0_60273616的博客 5346

飞牛NAS系统盘占用过高排查与解决全记录(已有效解决)

📢NAS弹出系统盘占用过高预警?别慌!亲测解决全流程来啦~ 精准定位根源+安全迁移数据,附详细实操步骤,帮同款困扰的你高效释空间、少走弯路!

XiaoqiangClub的博客 3132

PCL_点云数据处理方法概述

目录 维点云数据处理技术 1. 点云滤波(数据预处理) 2. 点云关键点 3. 特征和特征描述 4. 点云配准 5. 点云分割与分类 6. SLAM图优化 7. 目标识别检索 8. 变化检测 9. 三维重建 10. 点云数据管理 PCL库简介 回到课题上,接下来要面对的就是点云数据的处理了。这篇博客主要介绍三维计算机视觉中点云数据处理面对的问题,主要方法和技术,概述其特点。这篇博客主要介绍最基本的点云数据处理技术和概念,不会有任何代码。 ICP点云配准就是我们非常熟悉的点云处理算

惊鸿一博 3056

手把手教你学Simulink--控制执行场景实例:基于Simulink的智能车辆自动紧急制动(AEB)仿真

本文完成了基于 Simulink 的智能车辆自动紧急制动(AEB),实现了:✅ 构建前车急刹与静止障碍物典型场景✅ 设计基于 TTC 的三级 AEB 决策逻辑✅ 验证在高风险场景下有效避免碰撞✅ 掌握从风险评估到制动执行的完整安全链✅ 为ADAS 主动安全功能开发奠定基础。

MHD0815的博客 237

使用 Python 实现基于 AGA8 GERG - 2008 方程计算掺氢天然气压缩因子的示例代码

AGA8 GERG - 2008 方程是用于计算天然气混合物热力学性质的一种方法,下面是一个使用 Python 实现基于 AGA8 GERG - 2008 方程计算掺氢天然气压缩因子的示例代码。需要注意的是,AGA8 GERG - 2008 方程非常复杂,完整实现需要大量的系数和详细的计算步骤。这里我们简化了部分过程,使用CoolProp库来完成计算,因为CoolProp已经实现了 GERG - 2008 方程。

AI的内部世界的博客 887

计算机视觉方向简介 | 三维重建技术概述

点击上方“小白学视觉”,选择加"星标"或“置顶”重磅干货,第一时间送达本文作者吴一达。https://www.cnblogs.com/wuyida/p/6301262.html基于视觉的三维重建,指的是通过摄像机获取场景物体的数据图像,并对此图像进行分析处理,再结合计算机视觉知识推导出现实环境中物体的三维信息。(1)彩色图像与深度图像彩色图像也叫作RGB图像,R、G、B三个分量对应于红、绿、蓝三...

小白学视觉 2285

华为OD机考真题 新系统 9月23号 【世界杯徽章换购】多语言题解

华为OD机试真题 新系统【世界杯徽章换购】,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解,以及在线OJ模拟做题。华为OD机试真题 【世界杯徽章换购】多语言题解。

qq_45776114的博客 690

三维凸包算法在PCL中的应用

给出三维空间中的n个顶点,求解由这n个顶点构成的凸包表面。 求解过程: 首先任选4个点形成的一个四面体(初始凸包),然后每次新加一个点P,分两种情况: 1,P在凸包内,则可以跳过 2,P 在凸包外,对于某边,找到从这个点可以"看见"的包含该边的面S(能不能看见可以用法向量来计算,看点是否在面外侧),删除这些面S,然后用S的除该边外的另外两边与点P新构成两个面。这样遍历所有边,就将P加入该凸包中,并形成了新的凸包。 遍历所有点,最后得到整个点集的凸包。 参考文章: 三维凸包 在pcl中得到某点云模型的凸包:

ZHANzhenrong的博客 2635

CRC_16---ModBus 计算方法及代码实现

1、 CRC寄存器初始值为 0xFFFF;即16个字节全为1; 2、 CRC-16 / ModBus的多项式0xA001H (1010 0000 0000 0001B) ; ‘H’表示16进制数,‘B’表示二进制数。 计算步骤为: (1).预置 16 位寄存器为十六进制 0xFFFF(即全为 1) ,称此寄存器为 CRC 寄存器; (2).把第一个 8 位数据与 16 位 CRC 寄存器的低位相异或,把结果放于 CRC 寄存器; (3).检测相异或后的CRC寄存器的最低位,若最低位为1,CRC寄存器

1万+

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

上一篇: OpenCV实现SfM
下一篇: 图像局部特征点检测算法综述
weeeeeida
博客等级 码龄9年 12粉丝 10原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值