clipp_Huang的博客

基于双目相机加运动旋转机构，可以实现固定视场下的整副场景三维重建，无需做激光线拼接

光学跟踪三维重建系统

首先使用双目相机获取物体的点云信息，然后使用热成像相机采集带有温度信息的热成像图像，最后将双目重建的点云映射到热成像的图像上以此来获取每个点云的温度信息。重建的过程是先使用双目结构来重建物体得到三维点云，然后使用表定的外参来将点云转换到红外坐标系下，最后将红外相机坐标系的点云反投影仪到图像上以此获得每个点云的温度颜色信息。外参标定主要是标定双目坐标到红外相机的转换，采用一个公共的标定板，采用基于PNP方法可以标定双目相机坐标到红外相机坐标系的一个转换RT。图-1 热成像内参标定。2：红外热成像外参标定，

3D机械臂抓取

手持多线激光采用的硬件如下，两个交叉的7线线激光和双目相机，通过控制器来控制交叉7线的投射和触发相机进行采集。 算法主要分为两部分，即标定和重建。标定包括双目相机标定和激光线空间方程标定。首先标定采用平板标定法标定出双目相机的内参和外参，然后标定出7线激光的每个光平面方程并保持所有的标定结果。重建的时候基于双目标定结果和7线光平面方程，结合双目极线匹配的方法来找到每个激光点左右图像的匹配点，通过左右图像的匹配点基于双目重建方法来进行三维重建。 ...

一、介绍在机器时间领域我们做算法开发一般都会先在CPU上执行。CPU的全称是Central Processing Unit，而GPU的全称是Graphics Processing Unit。在命名上。这两种器件相同点是它们都是Processing Unit——处理单元；不同点是CPU是“核心的”，而GPU是用于“图像”处理的。在我们一般理解里，这些名称的确非常符合大众印象中它们的用途——一个是电脑的“大脑核心”，一个是图像方面的“处理器件”。但是聪明的人类并不会被简单的名称所束缚，他们发现GPU...

PCB的三维重建通常应用于电路板的锡膏、元器件的缺陷检测。对比之前的实验，现在在集成化和精度 效果上都有大部分提升解决了元器件边缘处三维异常的问题，如下图所示。交流QQ:1264768501微信：...

鞋底加工的过程需要对鞋底原材料进行精加工，目前三维测量技术可以很好的运用到这个行业 其目的就是通过三维测量技术获取到鞋底的某些特征的三维，从而引导机械臂进行加工切割操作。采 用双目结构光三维重建技术来获取鞋模的三维，然后对点云进行边缘检测和分类从而找到上下独立的 边缘，然后用边缘的三维点来配合机械臂完成精加工 ...

单目激光的三维重建，就是使用一个激光头加一个工业相机来完成三维重建，但是重建出来的是一条线上的三维点。如果要得到物体整体的三维点还需要拼接的操作，一般会配置一个步进电机来精确控制运动。另外一种就是使用双目加标记点的方法。这些本文先不做介绍了，先介绍单目激光的标定过程吧：实验过程：1：将激光线投射到一个标定板上，同时检测标定板的圆心坐标和激光二维坐标；2：重复1，摆放5个不同的位置；3：得到5个位置的标定板圆心坐标和激光线的二维坐标。标定算法：1：将标定板世界坐标系转...

口内三维扫描目前国内的设备还比较初级，主要是国外的设备，受限于软件算法和硬件所以做的人比较少。基于光栅结构光的方式对口内扫描的要求比较高，需要少量的光栅图能快速的打光， 而真实牙齿对光有吸附效应，传统的相移方法需要特殊的优化出来才行。目前我做的是基于8张的光栅图像方法，通过高速投影仪和相机进行采集，使用基于单目三维重建的方法来进行重建，目前对陶瓷牙的效果如下图所示，效果还可以，基本能真实重建出来，口内的由于硬件还没有调试好，只能张大嘴巴来扫了，基本上都能重建出来，离口内扫描比较...

最近实验了基于快速单目测量系统，采用8副光栅图片来对烤瓷牙进行三维重建。烤瓷牙不同于传统的石膏压模，烤瓷牙更接近人类 真实牙齿，对光栅会有一定的吸收，因此在算法上需要一些特殊的处理。硬件上采用120帧快速触发投影仪投射8副光栅图片，投射时间8/120=66.7ms,图像分辨率1280*1024，测量距离120mm,测量范围大概80mm*60mm，重建结果如下图所示，精度估计在0.02mm左右。 ...

结构光投射的速度一个在于触发式投影的帧率，目前市面上最好的投影仪大概在120帧左右。光栅结构光在投射的时候都是投射多组正弦光栅，多频外差法至少投射3 组，即12张图片。为了满足一些特定场合的需求要求投射的光栅越少越好，如口腔内扫，快速机器人抓取等。因此做了一个基于两个频率共8张图片的方法，对于光栅相位法的核心就是得到正确的展开相位，精度越高越好。可以参考我之前发的-两频率相位展开。目前...

在结构光三维测量过程中最重要的就是前期相位的计算，基于多频外差的方法要求有很多个频率才能完成相机的展开，这在一些对速度要求比较高的场合就无法满足要求。为了高速的获取物体相位就必须减少 光栅图像数量。因此双频的四步相移一共投射8副图片，或者采用双频率三步相移一共投射6副图片，在增加相机的帧率的情况下可以 获得比较高的测量速度。 实验结果如下，拍摄一组两个频率的四步...

在传统的鞋模自动化加工中,传统工业机器人由于缺乏对外部信息的获取,只能按照固定模板对鞋模底部进行切割、打磨、刷胶等工艺操作。然而,这种统一模板的加工方式忽视了鞋模在初始固定时的定位偏差以及传输过程中可能存的位置变化等问题,因而在加工过程中容易导致次品甚至残品的产生,影响了生产效率以及生产效益。如果能快速的 获取到鞋底的三维 数据，就可以 根据三维数据来计算鞋模涂胶的位置和路径，大大提...

在进行人脸三维 重建的时候现有的方法主要有以下几种， 可见光结构光三维重建如结构光人脸三维重建，这种可以获得最高0.02mm的精度，但是最大的缺点就是可见光对人眼有刺激作用，只能用在美容整形类似场景可以忍受一下。还有一种就是类似kinect的结构光方式，但是这种精度有很低，对大场景精度要求不高的场合比较合适，如果做人脸三维识别精度有达不到。为了满足人脸高精度扫描的要求最好的方式就是红...

基于结构光的人脸三维重建的难点在于如果快速的获取到光栅图片，因为人容易动所以拍摄的过程时间长了采集的光栅图片就会有问题。所以采用了基于投影仪触发的方式来实现光栅图像的获取。一、硬件： 1：投影仪，触发式，帧率120帧，分辨率1280*768 2：相机，海康的触发式相机，帧率170帧，分辨率1280*1024 ...

交流加微信或者QQ:1264768501

双投影结构光的三维重建系统主要由两个投影仪和一个相机组成的设备，在测量的过程由相机分别采集两个投影仪投射的光栅来进行三维重建。次系统主要是应用在PCB板等焊锡的三维重建过程，因为焊锡有一定的反光，从一个方向投射的光栅会因为反光而无法测量到某个区域，为了解决这个问题才使用双投影，可以分别从不同的方向来投射光栅，以此来解决反光的问题。 其标定和重建的原理还是基于单目测...

双目快速触发投影三维重建系统，采用的是降光栅图片事先保存到投影仪当中，然后使用USB接口去控制投影仪并给相机发生触发型号，控制相机进行采集，这样可以实现图像快速采集的目的。硬件采用的60帧的投影仪，相机是70帧的海康相机，打出25帧图像大概在0.4s左右，如果采用120帧的投影仪时间可以控制在0.2s左右。 ...

在三维重建的过程中每次只能测量有限的区域，那么拼接的操作就再所难免了，最终拼接的效果往往觉得了你做的产品是否真的有价值。很多市面上的产品在比较的时候首先看的是整体的重建效果，而整体的效果就是拼接决定的。拼接的效果由精度和效率决定的，首先是精度主要看最终拼接的点云之间融合的好坏，其次的效率，效率主要考察的是在拼接的过程是否流畅，是否需要很多标记点，好的拼接效率就是在使用少量的标记点也能拼接出高精度的

人民币三维重建是基于单目三维重建方法，采用500万大恒相机，25mm镜头；测量距离大概200mm。基本原理可以参考其他几篇博客，重建效果如下图所示，可以看出能基本上重建出100元的一些细节，精度按照之前的测试估计在0.002mm左右。交流加QQ:1264768501...

最近调试完了双投影的快速触发投影功能，主要硬件包括两台带触发模式的投影仪和一台74帧率的带触发的工业相机。先将25张光栅图片烧进投影仪中，然后控制投影仪投射光栅并输出触发信号给相机进行采集，打光的过程如图所示。25张图片的采集速度在0.5s左右，为了追求精度，图片太多。如果只打3个频率13张图片速度可以在提高一倍，根据具体应用可以调整。 ...

之前做了一个基于单目结构光的三维重建算法，主要原理参考我的单目结构光三维重建。上次对精度的验证主要是在130w相机的基础上进行的，其精度大概在0.05mm左右（还是参考上面的链接）。这个精度其实也还算可以了，但是如要使用在电子元器件的测量方面其精度还是稍微低了点，为了解决这个问题所以尝试使用500w（分辨率2592*2048）相机来拍摄，拍摄距离在250mm左右，如下图所示。...

            传统的PCB检测主要是在二维图像上对电路板的缺陷进行检测，但是有些确实是二维图像无法完成的，比如电路板上锡膏的高度，大小、体积等。现在行业中越来越多的企业开始做基于三维的PCB检测。所以正对PCB的三维检测我开发的  单目三维重建能满足这方面的要求。我开发的单目结构光系统是基于一个相机和一个投影设备来完成的，相机的分辨率在500W像素，具体的实现方式可以参考上面那个链接...

单目激光的三维重建，就是使用一个激光头加一个工业相机来完成三维重建，但是重建出来的是一条线上的三维点。如果要得到物体整体的三维点还需要拼接的操作，一般会配置一个步进电机来精确控制运动。另外一种就是使用双目加标记点的方法。这些本文先不做介绍了，先介绍单目激光的标定过程吧：实验过程： 1：将激光线投射到一个标定板上，同时坚持标定板的圆心坐标和激光二维坐标； 2：重复1，摆放5个不同的位置；

基于结构光的重建包括了双目三维重建和单目三维重建，双目的重建方法主要采用双目立体视觉算法来匹配两幅图片的相位信息，可以参考我的多频外差双目重建，这里不做介绍了。主要还是介绍下我做的单目三维重建，当然结构光采用的方法还是基于多频外差的方法。传统的单目算法是将投影仪设备当做一个反向相机来处理的，其 实质还是双目的...

这段时间终于把三维曲面特征拼接搞定了，期基本原理可以参考我上几篇博客中介绍的方法曲面拼接，3D匹配原理。全都都是基于C++来实现的，没法传视频可以从网盘上下载：http://pan.baidu.com/s/1pLblCAv。拼接效果如下图所示：视频：https://pan.baidu.com/s/1UYxcdArTjD1LkXjGJ7PbuQ ...

最近在看“机器人物体抓取”的解决方案，很多机器视觉库都提供类似的解决方案，大多采用的是在二维图像上的匹配。但是这种方法对光照和物体的摆放很敏感。随着三维技术的成熟，越来越多的研究着在考虑使用三维匹配的方法，其中一种就是基于三维点云和法线的方法。为此我也迫不及待的验证一下这种方法：       第一步：使用基于结构光的方法获取到物体的被定位物体的三维点云

对三维重建的精度验证一般采用基于标球的方式，如下图所示。两个球的直接均为30.00mm，误差在0.001mm以内。这个是有个验证报告的，当初是在深圳买的，好像是深圳计量院的测试报告。 为了 验证基于多...

图像的几何畸变是指在图像平面上图像点在几何位置上的误差，是因为成像系统不能使图像与实际景物在全视场范围内严格满足针孔成像模图型使中心投影射线发生弯曲造成的，畸变主要分为径向畸变和切向畸变。       径向畸变是指给定图像点从它的理想位置向内或向外移动，主要是由镜头表面部分在径向曲率的变化存在缺陷造成的，图像点负向的径向位

三维扫描可以很好的使用在汽车轮毂的修复和逆向过程中，上次一个客户使用了我的扫描仪，使用扫描的点云生成.x_t的格式，可以在UG里面进行编辑。从他们反馈的意见来看，他们之前最难的部分就是在于曲面的构建，很难构建出比较精准的曲面。但是用扫描的方式可以达到0.05mm的精度，这样由点云生成的曲面再来构建曲面就方便得多，而且保证了精度。

结构光三维重建--多频外差 结构光三维重建主要的原理就是从投影仪中投射一定频率的结构光，这种光跟以前采用的格雷码方式不同，它具有一定的正玄性。而多频外差的方式说的就是采用几种不同频率的正玄光，为什么采用多频外差的方式，从我多年的实践经验来看，多频外差...

   最近将扫描系统的投影仪更换成了蓝光投影仪，蓝光投影仪的好处就是抗干扰比白光要好，尤其的在扫描物体有反光的情况下，而且出来的点云也比白光要光顺一些，缺点就是亮度没有白光的好。硬件设备和扫描效果见下图所示。           。                                   交流加QQ：1264768501...

今天从朋友那里搞了个牙模来测试了一下，效果还可以。牙模三维重建的作用我就懒得介绍了，相信大家都知道，不过用的人基本上都是医院、整形之类的机构。 微信：...

最近将单目的扫描系统做成的彩色点云输出，使用大恒500W彩色相机，并采用基于触发方式的投影仪，硬件图-1所示。重建的结果如图二所示，没有显示颜色信息，颜色信息效果如图3和图4所示。 ...

以前做的三维扫描设备的打光速度不高，主要受限于HDMI的数据传输和非触发相机采集的关系。最近搞了一款可以带触发的投影仪终于可以实现快速光栅投射了，投影仪帧率120，相机帧率36.具体如下： 1：将光栅数据事先烧进投影仪，最多可以烧进100张，一般也用不了那么多，我暂时用的是20张 2：配合带触发的相机我用的是大恒水星MER-500-36的，500w像素36帧率。...

基于多频外差单目三维重建，单目重建精度验证，从之前测试的精度看500w相机的精度在0.005mm左右。这个精度一直在考虑对指纹的重建效果，如下图所示，测量距离在20cm,测量范围8cm*10cm,从重建的点云看纹理比较清晰。之前也接触过指纹三维识别方面，但是感觉还不是很成熟。回头再试下更小测量范围的效果，应该比这个精度更高交流QQ:1264768501微...

在三维重建过程中往往会遇到不同颜色的物体进行三维重建，比如一个物体部分是白色部分是黑色，这种情况下很难一次重建出来，传统的双目扫描方法就是采用不同的曝光时间来进行三维重建，曝光两次就需要重建两次，增加了测量次数。 考虑到双相机单目重建可以使用两个相机同时采集图像分别进行重建，最主要的优势可以设置不同的曝光参数，这样可以解决如图1所示类似的不同颜色的物体，测量过程如图2，...

之前介绍过 双相机+单投影仪的三维重建系统，可以见“双相机+单投影仪三维重建系统”，其目的是为了获得更大区域的三维信息，并且可以互补各自的无法重建的区域。还有一种系统就是双投影仪+单相机的三维重建系统，主要应用在比较小区域的三维重建场景，例如PCB电路板三维重建等，如下图-1所示 ...

       基于多频外差法的单目三维重建可以在使用一个相机的情况下获取到高精度的三维数据，如单目三维重建。在使用的过程会遇到一个问题，就是一个相机无法获取到物体完整的三维数据情况，如下图所示，第一副和第二幅分别单个相机三维重建的区域，第三幅图就是使用双相机同时重建的区域。注意不是双目相机匹配三维重建，而是两个相机分别组成单目系统进行三维重建，这样可以获得更大的测量区域。   ...