fb_help的专栏

将colmap空三导入blender主要问题是姿态系统的转换经实验发现：外参colmap的外参四元数计算得到的R为Rc2w，即相机到世界的R。Tx，Ty，Tz是原点在相机坐标系下的坐标，即P=[R|t]中的t相机原点在世界系下的坐标为：C = -Rw2c·t其中Rw2c=Rc2w的转置或逆内参blender不支持skew参数焦距f = len/senor_size_max_width_or_heght*max(heiht,width)主点由shift_x和shift_y表达注意co

https://zhuanlan.zhihu.com/p/59532437

CMVS算法概述论文：Towards Internet-scale Multi-view StereoCMVS目的任务是将SFM的稀疏点聚类到不同的影像集（image cluster），每个影像集分别进行MVS算法。这样做的好处是根据SFM稀疏点的信息对浩大的影像分块成多个小块，分别进行MVS，分治思想，减少MVS算法的资源峰值。CMVS影像聚类的特点1.删除多余影像（质量极差的影像）2.保证cluster的size（保证每个cluster内影像数量小于某一size）3.保证完整性和质量完

点到平面的距离矩阵表示代数计算见：https://blog.youkuaiyun.com/jameskinger/article/details/80269397可以得到:矩阵计算令平面方程归一化，即则上式可变为：d=∣ax+by+cz+d∣d=|ax+by+cz+d|d=∣ax+by+cz+d∣令[a,b,c,d]=p,[x,y,z,1]=x[a,b,c,d]=p,[x,y,z,1]...

渲染彩色图（渲染深度图）彩色图根据像素的某一属性将像素值由黑白变换到彩色空间，以深度图举例直方图拉伸为体现深度差异，对深度图进行直方图拉伸彩色空间变换根据直方图0~255的拉伸，变换到彩色图像实例 double min; double max; int maxIDX; int minIDX; //cv::minMaxIdx(depthMapACV, &min, &a...

梯度下降法的收敛性证明梯度下降法梯度下降方法指：通过求函数梯度的方式解决函数极值问题即通过：x1 = x-s*∇迭代的方式求函数极值。梯度下降定理函数y =f(x)为凸函数：则： x1 = x-s*∇时 f(x1) < f(x0) 或 f(x1)>f(x0) 一定成立。∇指梯度，s指步长。举例如 y = x2y = x2 是凸函数当 x1 = x-s*∇时...

NCC归一化互相关(详解)NCC是什么NCC（Normalized cross-correlation）是模板匹配中较为常见的互相关计算方法。来描述两个同维向量，窗口或样本之间的相关性。其取值范围是-1~1，-1代表两向量不相关，1代表两向量相关NCC的计算公式NCC的计算公式网上有多种：https://blog.youkuaiyun.com/weixin_42104289/article/de...

对数据归一化显示对数组中的值归一化，然后拉伸显示std::vector<float> norms(vertices.size());std::vector<uchar> normsC(vertices.size());int i(0);for(v:vertices) { norms[i++] = norm(v);}cv::normalize(norms, n...

MRF的特点MRF理论MM即，马尔科夫假设，即相邻元素对最近邻元素有巨大影响。RR即随机，表述了马尔科夫假设的随机性FF即场，表示了MRF是一种顾及区域和整体的理论，就像“场”一样。马尔科夫随机场，突出的是一个元素之间的联系。任何元素具有独立的标签概率，单单只依靠元素自己的标签结果很容易产生粗差或噪声（如一群同类型的元素中间出了一个不同类型的元素，这种现象我们通常认为，不同类型的...

泛函和变分法https://wenku.baidu.com/view/de17ef3a5727a5e9856a6164.html泛函的形式泰勒展开，由问题定义求解泛函欧拉-拉格朗日定理

A Survey on Deep Learning Architectures for Image-based Depth Reconstruction主要介绍了深度学习领域估计深度图的方法的总结，从量上看，参看了进5年的100多篇文章，包括网络介绍，和训练的介绍．并提出来建议．网络介绍：参照“A taxonomy and evaluationof dense two-frame ste...

深度图表示32 bits images should be in meters, and 16 bits should be in mm深度图：32位的值表示米,16位的值表示mm.因为16位置图像能表示的范围为：(-65535~65535)且是整数．为了表示带小数的深度值，16位的值只能以mm为单位，即只能表示-65.5m ~ 65.5m的范围．用16位存储深度图的方便是，它能够被存为p...

坐标系转换两个坐标系之间的转换，指从一个坐标系转换到另一个坐标系，是一种刚体变换，设从坐标系Ｘ到坐标系Ｙ的的转换．则Y = s(RX+T)或Y = s(R(X-T))上两式都可以表达坐标系之间的变换．只是Ｔ的意义不同．为了使Ｔ有实际的意义，常使用第二个公式．即（Ｔ是Ｘ原点在Ｙ坐标系下的坐标．）...

P矩阵//摄像机表示为：// P = KR [I | -C]//其中R和C表示摄像机方向和相对于世界坐标系的位置;// R表示为从世界到相机坐标的旋转// C表示为世界坐标中的摄像机中心坐标//（与标准形式不同，已经应用​​了摄像机的旋转P = K [R t]（t=-RC））;//世界和相机坐标系是右手，//x指向右，y指向下方，z指向前方//（参见：R。Hartley，“多视图...

SFM算法总结文章目录SFM算法总结DLT(直接线性变换法)RANSCA(随机一致性采样)SVD分解估计两相机之间的F矩阵描述难点及解决思路：方法估计两相机之间的E矩阵描述难点及解决思路：方法本征矩阵恢复相机姿态描述方法三角化描述：难点及解决思路：方法：另外：PnP描述：问题及思路方法：另外非线性优化最快速下降牛顿法LM算法BA描述问题及思路方法双视角运动结构恢复DLT(直接线性变换法)是一...

积分图计算ZNCC公式推导：关于方差的积分图计算见https://blog.youkuaiyun.com/fb_help/article/details/88534427

单应矩阵Homography及其实现(OpenCV)参考：https://docs.opencv.org/3.4.1/d9/dab/tutorial_homography.html前言单应矩阵是图像中面与面的对应关系。在透视（射影）空间中，任意两个面都存在单应变换的关系。单应矩阵具有传递性单应矩阵是两张相片之间像素点的对应关系，它可以SVD分解为两相机R和T 1 对于相机不共...

单目相机如何的到深度双目双目可以通过标定（几何）或实时匹配（视觉匹配）得到相机的（一般为相对的）位姿 （稀疏点云）再通过匹配同名点，前方交会，得到深度。 （摄影测量）根据核线和匹配代价，交会所有点，得到所有点深度。 （密集匹配）各种密集匹配算法或策略和匹配代价，交会所有点，得到深度。单目1.RGDB 2.基于特征（如灭点特征） 确定要求深度的对象，设计变换函数和相...

坐标变换问题坐标变换问题分为两种， 一种是物体旋转或平移，坐标系不变，坐标系唯一。应对物体变化的情况 另一种是物体不动，坐标系改变。应对相机变化的情况，http://mathworld.wolfram.com/RotationMatrix.html?tdsourcetag=s_pctim_aiomsg...

特征匹配匹配方法：1. 暴力匹配暴力方法找到点集1中每个descriptor在点集2中距离最近的descriptor；找寻到的距离最小就认为匹配2. Flann是一个对大数据集和高维特征进行最近邻搜索的算法的集合，在面对大数据集时它的效果要好于BFMatcher。KNNKNN（k-NearestNeighbor）即k个最邻近距离，不管是暴力匹配还是f...

计算相机焦距f相机焦距f通常以像素为单位，计算方法：根据相机焦距长度F（focal length，单位mm）和传感器孔径S（sensor size，单位mm）计算：图片宽高：width，heightf = max(width，height)*F/S根据相机焦距长度F（单位mm）和单位像素的长度L（单位mm）：f = F/L获得f单位为像素...

坐标变换什么是刚体变换（1）让g（x）是三维向量空间到三维空间的一个映射函数。如果该函数满足下列性质，则被称为刚体变换（Rigid Transformation）:刚体变换的性质（2）刚体变化能够通过下式表示：其中R：在该式中，矩阵，R，被称为旋转矩阵（Rotation Matrix），并且满足下列特殊性质：坐标转换与刚体变换坐标系之间，在不考虑尺度的情况下，很容易证明坐标转...

MVS数据集建筑类：https://icwww.epfl.ch/multiview/denseMVS.html

编译OpenMVS报错函数重名修改boost_program_options-vc140-mt-x64-1_67.lib为libboost_program_options-vc140-mt-x64-1_67.lib编译viewerglew要在…/glew-2.1.0/lib/Release/x64/glew32.libglfw要在…/GLFW/lib/cmake/glfw3编译Int...

影像畸变详解

OpenCV实现影像畸变矫正GPUOpenCV实现影像矫正使用的是initUndistortRectifyMap()计算畸变的映射remap()计算映射，其详解见：OpenCV函数remap详解 Mat src_cpu = imread(in_filename); cv::cuda::GpuMat src(src_cpu); cv::cuda::GpuMat distortion(sr...

影像畸变矫正带扭曲参数s(skew)像素比例ρOpenCV自带纠正方法不能矫正扭曲参数s和ρ。因此自己写代码来完成纠正。包括OpenCV的畸变模型，和Smart3D的畸变模型，其原理见影像畸变纠正详解 Mat src_cpu = imread(in_filename); cv::Mat mapx, mapy; mapx.create(src_cpu.size(), CV_32FC1);...

雅各比矩阵–像方点对物方点求导像方点对物方点求导即像方的x，y对物方点X，Y，Z求导（全微分，对X，Y，Z求全微分）

相机成像原理相机成像原理分为透镜成像原理和小孔成像原理。相机成像原理现代相机有很多分类，且分类标准不统一。在这里简单分类为可更换镜头相机和不可更换镜头相机两种。对于可更换镜头而言。例如单反，单镜头反光照相机，镜头只是整个系统的一个部件，他的作用是获得我们想要的成像效果，但是镜头并不是成像的必要部件，把镜头取下，依然可以获得成像，此时就是利用了小孔成像的原理。对于没有反光镜设计的微单...