蓝羽飞鸟的博客

colmap相机类型和内外参

深度图优化

像素坐标，世界坐标，相机坐标之间的转换

ESANet+realsense d455

averageNodeColor是ColorOcTreeNode中的函数，参数是x,y,z,r,g,b

orb_slam2 + 语义分割 + 八叉树地图,github地址：https://github.com/floatlazer/semantic_slam环境配置参考链接现在说说要用d455来实现实时建图，需要修改哪些地方。首先要安装intel realsense的sdk,到realsense-viewer可成功显示界面即成功然后安装realsense的ros wrapper, 让d455可通过ros发送topic安装方法这一步需要同时安装ddynamic_reconfigure包，从github上

paper: deep learning based semantic labeling of 3d point cloud in Visual SLAM这篇paper是把2D的yolo v3检测与3D点云结合，实现语义点云地图SLAM基于的是orb slam2结构如下：yolo v3是用来做2D图片的目标检测的，并不是作语义分割的，那如何给点云作语义Label呢？目标检测的轮廓并不像语义分割那样，但是那块区域的label可以映射到3D点云。那么前提是3D点云的点已经完成了聚类，label投上去，那

orb_slam2 + 语义分割 + 八叉树地图,

原理的推导这篇文章已经很详细了，这里放一段带注释的代码，便于理解。 //SVD解三角测量 //A：4✖4, P:4x1(X,Y,Z,1) //在这里解释一下原理 //point1(归一化像素坐标）= 1/s1*K*[I|0]*pt_world， point1 = (u1, v1) //point2(归一化像素坐标）= 1/s2*K*[R21|t]*pt_world, point2=(u2, v2) //相对坐标变换 //pr1 = K*[I|0], pr2 = K[R2

单目计算深度比较复杂，可以用RGB-D相机直接得到深度，但是还是练习一下。因为是稠密重建，对每个像素都算深度，所以就不是提取特征了。仅凭一幅图无法估计出深度，要用不同视角下的图像来估计。根据不同视角中同一特征点的不同位置来进行三角测量估计深度，但是稠密重建是不用特征点的，要对每个像素都进行匹配，怎么匹配呢，用极线搜索和块匹配。什么是极线搜索，如下（贴一张别人的图）：首先说神马是极线，相机1中的某像素p1, 它可能的深度是，比如[0.1, 5], 然后p1的像素坐标联合这个深度，形成了俩位置，这俩位

ply文件的显示用meshlab效果图：没有优化之前的：ceres优化之后的g2o优化后的看下初始状态和优化后的对比，可看到初始状态噪声比较大，而优化后较聚集看下ceres和g2o的对比吧，都会收敛一些，但是位置会有一些错开...

直接法是根据像素的亮度信息(Intensity）来估计相机的运动。还记得估计相机的运动有以下方法：1.提取特征点和描述子，比如SIFT，FAST特征点，不同视角的图片特征点匹配，然后用对极几何，PnP或ICP法估计相机运动。2. 提取特征点，不提取描述子，然后用光流法跟踪特征点的运动，再估计相机运动。而直接法可以在特征点的基础上计算，也可以连特征点都不提取了，直接随机采点。也不用计算光流，不需要知道点和点之间的对应关系，而是通过最小化光度误差来得到，是一个优化问题。直接法相比于特征点，克服了以下

世界坐标系指的是系统的绝对坐标，原点是固定的。相机坐标就是世界坐标根据相机的当前位姿 变换到相机坐标系下的结果。这个相机位姿包含了旋转矩阵R和平移向量t。相机位姿R，t称为相机外参。像素坐标与成像平面的区别就是，像素坐标的原点在图像的左上角，它与成像平面之间相差了一个缩放和一个原点的平移。再说相机内参，只需要知道它是一组参数(fx, fy, cx, cy)，其中fx, fy, cx, cy单位都是像素，具体什么意义后面解释。相机外参由于是相机的位姿，它会随着相机的运动而改变，但是相机内参是不变的。

Ceres是一个广泛使用的最小二乘问题求解库。Ceres求解的最小二乘问题最一般的形式如下min⁡x12∑iρi(∣∣fi(xi1,...,xin∣∣2) \min_{x}\frac{1}{2}\sum_{i}\rho_{i}(||f_{i}(x_{i1}, ... , x_{in}||^{2})xmin​21​i∑​ρi​(∣∣fi​(xi1​,...,xin​∣∣2)其中fif_{i}fi​为代价函数，在ceres中为残差块，ρi\rho_{i}ρi​为核函数，如果不用的话，那么目标函数仍然是许多

一些依赖的安装sudo apt-get install libglew-devsudo apt-get install libboost-dev libboost-thread-dev libboost-filesystem-devsudo apt-get install ffmpeg libavcodec-dev libavutil-dev libavformat-dev libswscale-dev# The most important part, or error[1], error[2]