weixin_43802726的博客

socket的作用是安装固定与连接模组，确保连接器的开度足够大是重要的，以致于连接器的盖板不会干预到TOF模组的FOV和激光的ROI。为了估计模组的数量验证环境的数量是重要的，因为即使标定已经正确完成了，验证环境有任何问题也会导致一个错误的结果。6）真实值的精度：设定中的一个主要目标是通过放置模组在具体的和不同的距离上来特性化深度测试。这些样本可以通过在一个大的开阔的没有多路径光线影响的环境中的夹具来实现。4）模组的平行度：TOF模组相对于目标的调整是重要的，这可以尽可能的减少目标与模组之间的位置偏差。

tof系统标定流程之validation原理与代码详解validation介绍validation流程validation实现代码validation介绍完成了以上所有的标定流程后，下一步就是进行标定结果的验证，标定验证过程是标定的反向过程，具体的用标定的模组采集固定距离及完整视场下的深度数据，将每一个标定环节的标定参数从模组的eeprom中读出，或者以文件的形式记录的参数读入，用读入后的参数对深度数据进行补偿。周期误差标定读入傅里叶级数表达式系数4个或者6个正余弦系数，构造傅里叶级数，对相位值用傅里

双频测距的计算流程是，对每个单独的频率分别进行周期误差，固定相位模式噪声，温度，lens的标定以及光程差还原，得到单个频率的标定后深度值，将两个频率的测试距离进行查找表法计算融合后的测距范围，具体的将两个频率在周期最小公倍数内的相位组合成查找表，用两个频率的实际测试相位在查找表中找到对应的组合点，组合点对应的测试距离即为融合后的测试距离。f2,其中m,n取整数，f1,f2表示测距范围用距离或相位表示。如下代码是分别对100MHZ和80MHZ频率进行相位展开相位解包裹的双频融合测距算法的核心函数。

什么是光程差，即光在发射端到接收端所走过的距离。为什么要进行光程差还原，因为模组的调制激光是可以看成由空间中一个点向外发射到达被射物体表面，而不是由同一个距离的不同点向外发射激光，因此理想情况下对于平面表面的每个点的光程都不一样，就是由光程差的差异，最终拍摄平面得到深度不是一个平面而是抛物曲面，因此需要对光程差还原成相同的光程，即每个平面点的光经过路程相同相当于平行照射得到深度才是平面。

仅仅拍摄一次是不够的，因为棋盘格的黑白区域有不同的反射率，白色反射率在85%以上，黑色反射率20%左右，因此计算得到的深度值在黑色区域是不准确的需要过滤掉，只能使用白色区域，而过滤掉后的有效深度像素点的数据量比较少，所以需要相对棋盘格旋转模组三次，每次旋转90度，依次以0，90，180，270四个角度拍摄棋盘格，分别得到四张IR图和四个角度的四相位图即四张深度图，四张深度图分别过滤黑色棋盘区域，过滤的方法是利用四相位图计算出的置信度图，置信度低的区域对应黑色区域过滤掉。由此产生的全局偏移，所有像素都有。

镜头内外参计算设计到外参计算和内参计算，先进行外参计算，再由外参和像素坐标系的对应关系计算内参，具体的，先拍摄某一视场下的棋盘格图片，已知棋盘格的尺寸，因此可以计算棋盘格角点的空间三维坐标，外参是计算棋盘格在世界坐标系的坐标到相机坐标系的旋转矩阵和平移向量，根据棋盘格角点三维坐标和对应的像素坐标可以由单应矩阵计算某一视场下的外参。因此镜头畸变的矫正是首先要解决的问题。畸变系数k1,k2,p1,p2,k3主要用于tof标定最后的光学畸变矫正，通常只用k1,k2,p1,p2几个系数即可满足精度要求。

从误差大小上来看，如果不进行标定，其误差对于总体深度误差的影响大概在几十毫米的范围内，即使不标定影响也不大，只是在正确深度值的基础上增加百分之几的深度波动，并不是在所有距离内都相同。综上是对wiggling误差或周期误差的表现形式的直观认识，这里描述的wiggling误差实际上是其最明显的一种或者称之为最大的误差表现，其实对于wiggling误差的表现还有更加深入的研究，以德国pmd的研究最为深入，真实的wiggling误差也与频率，时域，电流电压，光功率等参数密切相关，并且都有对应的曲线。

光程差还原

itof标定

拟合系数的计算方法主要是用最小二乘法，此方法原理是用一系列数据计算系数矩阵，计算步骤是构造等式方程（表达式移到左边做减法）的二范数误差表达式，对待求系数依次求偏导数，令偏导数等于零，最后构造矩阵形式 AH=B ，其中A为系数矩阵，H为待求系数，B为常数项，待求系数H=A^-1 B ，如果A不是方阵，用svd分解可求其最小特征值对应的特征向量即为待求系数。用多项式进行曲线曲面拟合是比较常用的方法，一般用于拟合二次曲面和高阶曲面，关于拟合曲面的多项式阶数，即最高项次数取决于需要拟合曲面的复杂程度。

也可以根据论文的描述方法，总结出计算步骤，依次按步骤实现，只要计算准确无误，最终都能得到所期望的结果。以常见的图像预处理手段为例，二值化，自适应二值化，腐蚀膨胀开闭运算，边缘检测，梯度计算，直方图，特征提取，特征匹配，图像金字塔，连通域计算，直线拟合，圆拟合，模板匹配，卷积模板制作，高斯滤波，图像变换，傅里叶变换，矩阵运算等处理方法都可以用opencv实现，只需要调用其api即可，但是只会调用未免太过简单，了解了背后图像计算原理后完全可以对其进行改进或者自己实现。

点云数据的获取主要依靠tof激光雷达，由于是基于2d栅格地图导航，所以最终要得到的结果是行人在栅格地图上的障碍物，首先将获取到的点云进行滤波处理，滤除噪点和异常点并进行体素滤波，之后将滤波后的3d点云投影到2d平面上， 取其xy坐标，这样点云投影到2d平面会得到一簇簇点集，对点集进行聚类处理可以基于曼哈顿距离或欧式距离，将点集聚类后可以计算聚类点集的质心用于区分两个点集，接下来计算点云的外接矩形，所有得到的外接矩形即是可能的行人区域，将行人矩形区域标记到栅格地图中或者保存到障碍物地图更新，可以用于导航。

为了将温度升高或降低对深度值的影响进行补偿，使其调整到室温状态的深度值，需要测试出温度与深度的关系在一定温度范围内的深度变化曲线或温度与相位的对应关系曲线，通常的做法是采集温度在一个范围内，例如0-80摄氏度范围内的深度值变化，采集的过程通常分为主要的两个温度变化过程，即温度升高过程和温度降低过程，因为温度升高和降低过程中，深度的变化曲线是不同的所以要分别采集。温度标定对误差的影响较小一般在测试距离的百分之三左右，如果不进行温度标定对于1米的测距范围大约有3厘米的误差，因此其影响需要考虑进来。

S5K33DX是一款高度集成的间接飞行时间（tof）传感器，旨在实现3d深度传感。S5K33DX具有VGA分辨率和7um像素。相机集成在tof系统中，该tof系统还包括由S5K33DX控制的红外（IR）波段调制光源。S5K33DX芯片包括解调tof像素阵列、模拟/混合信号处理电路，包括调制信号生成和传输、图像校正功能、低功耗深度计算链以及使用高达2通道MIPI发射机的串行传输。它设计用于快速但低功耗的操作，为原始图像数据提供高达每秒60帧（fps）的全分辨率捕获。

软件部分包括，温度标定，周期误差标定，相位误差标定，镜头标定软件。