u010307048的博客

论文地址文章导读最近自己的工作有借鉴这篇文章中用到的拉格朗日对偶，然后就细读了文章的内容并且分析了对应的代码。 拉格朗日对偶属于凸优化的范畴，详细的定义和理论可以在《Convex optimization》一书中进行深入学习。本篇博客仅重点解读该文章的主要内容。摘要通过欧几里德变换进行三维模型的配准是计算机视觉中许多核心应用的基础任务。因为旋转约束，所以这个问题是非凸的，这就使得传统的局部优化方法容易陷入局部极小值。本文集成常见的几何配准模态（比如点对点，点对线，点对平面），建立一个统一的公式，从.

论文地址论文视频文章导读为什么要解读这篇文章？因为之前接连介绍该作者的两个工作，TEASER | 快速且可证明的点云配准算法和代码解读 和 基于四元数的存在外点Wahba问题的可证明最优解，前者的未知有界噪声，几何不变测量，内点选择最大团和SDP松弛思想均来自该工作，而后者和该工作共同组成了TEASER。所以为了彻底理解TEASER，就不得介绍本文。本文使用截断最小二乘将点云配准问题转化为优化问题，然后设计出可处理高外点率的多项式时间算法进行相对变换（尺度，旋转和平移）的计算。摘要提出了一种在存.

论文地址摘要主要贡献算法流程实验结果

论文地址摘要主要贡献算法流程实验结果总结

1. 特殊环境、有先验信息的情况2. Minimal/Non-minimal case3. Robust pose estimation1. Inlier set maximization2. M-estimators4. 其他类型的correspondenceaffine correspondences基于语义信息的correspondences5. 其他特征 (线，面)6. 有趣的方向...

模板匹配对象可以通过存储示例图像或“模板”来表示模板匹配的假设• 将模板放在给定图像的每个位置。• 将模板中的像素值与图像底层区域中的像素值进行比较。• 如果发现“良好”匹配，则宣布对象存在于图像中。•可能的测量方法有：SSD、SAD、互相关、归一化互相关、最大差异等。模板匹配的局限性如果对象在图像上显示为缩放、旋转或倾斜，则匹配将不好。解决方法搜索模板和模板可能的变换(...

动机想从未知的视角识别已知的对象(物体)。基于局部特征的方法• 通过小的灰度/特征图像块表示对象的外观。• 尝试从对象到图像匹配图像块• 几何一致的匹配表示出物体的位置和姿态简单的例子通过在Harris角点周围提取的 11x11 尺寸大小的灰度模板集表示对象。使用 NCC 将图像块与新图像匹配利用RANSAC寻找与仿射变换一致的匹配使用内点匹配求解图像中对象的位置和姿态...

两种流行的跟踪方法Mean-shift 颜色直方图跟踪（上一个Lecture）Lucas-Kanade 模板跟踪（这次Lecture）Lucas-Kanade 跟踪回顾：Lucas-Kanade• 亮度恒定• 一个方程，两个未知数• 如何获得一个像素的更多方程？基本思想：引入额外的约束• 一种方法：假设像素的邻域具有相同的（u，v）– 如果我们使用一个 5x5 的窗口，那...

基于外观的跟踪直方图外观模型动机——要跟踪非刚性对象（如行走的人），指定明确的二维参数化运动模型是很难的。非刚性物体的外观有时可以用颜色分布来建模通过颜色直方图的外观整体的直方图尺寸为比如，R、G和B通道的4位编码会产生的直方图大小为161616 = 4096更小的颜色直方图如果我们愿意接受颜色分辨率的损失，直方图信息可以小得多。整体的直方图尺寸为比如，R、G和B通道...

回忆：Blob合并/拆分当两个对象彼此靠近时，它们被检测为单个blob。通常，一个物体会被另一个物体挡住。其中一个具有挑战性的问题是在每一个对象再次分开后保持正确的标记。数据关联更一般地，我们寻求在帧之间匹配一组blob，以保持个体的连续性并生成轨迹。数据关联场景多帧匹配（将新帧中的观测值匹配到一组跟踪轨迹中）如何确定哪个观测要添加到哪个轨迹？跟踪匹配直觉：预测每个跟踪轨迹上...

回顾：光线传播光源颜色光谱功率分布SPD： 每个波长相对的光线能量光谱反射率不同波长的出射和入射辐射的比例。（反射光的比例）辐射亮度人眼：Rods and Cones组合起来=颜色描述颜色今天我们考虑一个样本材料，人类的皮肤，并用两种方法来描述皮肤的颜色，以便在图像中找到它。1） 基于物理的方法2） 基于学习的方法目标：在图像中对皮肤像素打标签应用：人...

光线和颜色物理学• 光是电磁辐射– 不同的颜色对应不同的波长 λ– 振幅规定每个波长的强度• 可见光：波长为 400-700nm 范围什么是颜色？• 物体没有“颜色”• 颜色是一种感知；是我们“所看到”的• 它是一个函数–不同波长的光源功率–从物体表面反射的每个波长的光的比例– 传感器对不同波长的响应示意图：光的传播 光源产生光子；光子在直线上传播；光子碰到物体。一些被...

SfM给定一组随时间变化的运动相机的流场或位移矢量，确定：• 相机位姿的序列• 场景的三维结构SFM “Killer App”Match Move通过一个视频帧序列跟踪一组特征点推断相机的位置和被跟踪特征点的三维位置根据场景/相机推导出的三维几何来渲染合成对象因子分解FactorizationTomasi and Kanade, “Shape and Motion from ...

视频基础每秒30帧。每一幅图像的处理时间不会太多。因此，实时算法往往非常简单。视频图像的主要特征之一是帧间的时间一致性。在1/30秒内帧间变化不大！检测移动的对象假设：移动的对象是非常重要的（比如人和车辆）基本方法：保持一个静态背景的模型。将当前帧与背景进行比较以定位移动的前景对象。简单的背景减法• 背景模型是一个静态图像（假设这时候没有对象）。• 基于当前帧和背景之间的绝对灰...

流估计主要概念：亮度恒定方程孔径问题Lucas-Kanade算法回顾：由于自身运动产生的场流（Flow）：旋转分量不依赖于场景结构。平移分量随场景 Z 值的变化而变化。也就是说，它显示出运动视差（parallax）。特例：纯平移为了更好地理解流场是什么样子，让我们只考虑纯平移运动的情况。然后，在场景中通过平行速度矢量的投影形成流特例1：纯平移假设 T...

移动的相机相机拍摄由时间t索引的图像（帧）序列从一个时间到下一个时间，相机经历旋转（滚转、俯仰、偏航）和平移（tx、ty、tz）运动（位移）场运动场Motion Field和光流Optic Flow运动场：三维相对速度矢量在二维图像平面上的投影光流：在图像中观察到的亮度模式（brightness patterns）的二维位移运动场是我们想知道的。光流是我们可以估计的。有时光流...

一般立体视觉的步骤找到八组或更多的初始匹配点组利用8点法计算基础矩阵F从基础矩阵F推导出对极几何（极点，极线等）矫正图像，从而获取简单的扫描线立体匹配图像对计算视差图（对应匹配）6. 从视差图中计算 3D 表面几何重建即使我们有一个稠密的视差图，当谈到恢复三维场景结构时，我们只将其考虑为一组点匹配。点匹配：在左图像中的（u, v） 匹配在右...

提醒本质/基础矩阵本质矩阵和基础矩阵都是 3x3 的矩阵，用于“编码”两个视图的对极几何。动机：给定一张图像中的一个点，乘以本质/基础矩阵将告诉我们在第二个视图中沿着哪个极线搜索。本质/基础矩阵总结Longuet-Higgins方程极线：极点：本质矩阵 vs 基础矩阵：本质矩阵E在成像坐标上作用（内参校准相机）基础矩阵F在像素坐标上作用（未内参校准相机）从匹配点计算基...

对极几何左边极点：相机1所看到的相机2的位置。右边极点：相机2所看到的相机1的位置对极几何对应点位于共轭极线上对极几何给定一幅图像中的一个点，我们如何确定在第二幅图像中要搜索的对应极线？本质矩阵Essential Matrix本质矩阵和基础矩阵都是 3x3 的矩阵，用于“编码”两个视图的对极几何。动机：给定一张图像中的一个点，乘以本质/基础矩阵将告诉我们在第二个视图中沿...

广义的立体视觉主要思想：任何两张有重叠视图的图像，它们都可以被视为一对立体图像我们只需要弄清楚这两个视图是如何关联的视觉中一些最“漂亮”的数学问题是描述多个视图之间的几何关系。回忆：对极约束（Epipolar Constraint）重要的立体视觉概念：给定左图像上的一个点，我们不必在整个右图像中搜索对应的点“对极约束”将搜索空间缩小为一条一维的直线。回顾：简单的立体视觉系统回顾...

回忆：平面投影回忆：射影（逆）变换回忆：平面投影应用：稳定（Stabilization）给定一系列视频帧，将它们变换到一个公共图像坐标系这样“稳定”了视频，使其看起来好像相机不动一样。稳定例子链式稳定如果参考图像没有与所有源图像重叠怎么办？只要有成对重叠，我们就可以连锁（合成）成对单应性变换。不建议用于长序列，因为对齐误差会随着时间累积应用：拼接平面拼接的注意点...

动机：在平面上的点回顾：正向投影世界坐标系到相机坐标系的变换透视矩阵方程（相机坐标系到成像坐标系）成像坐标系到像素坐标系从成像坐标（x，y）到像素坐标（u，v）的二维仿射变换Maff平面上点的投影单应性矩阵H（平面投影变换）单应性矩阵H（平面投影变换）对于平面，3D到2D的透视投影降为2D到2D的变换。，并且此变换是可逆的特殊情况：正平面如果平面垂直于光轴（相机...

回忆：参数估计假设我们找到了两幅图像之间的匹配点，我们认为它们是通过一些参数化变换（例如平移；尺度欧几里德；仿射）相关联的。我们如何估计此变换的参数？基本策略基于对应点的最小二乘估计但这个方法有一些问题…问题：异常点（外点Outliers）粗略地说，外点是不符合模型的点。错误数据->外点粗略地说，外点是不符合模型的点。符合模型的点被称为内点外点问题最小二乘估计对外点...

送达

图像映射概述二维平面变换的基本操作几何图像映射x’ = f(x, y, {parameters})y’ = g(x, y, {parameters})线性变换（可以写成矩阵）平移（Translation）尺度（Scale）旋转（Rotation）欧几里得（欧式，刚性变换）分块矩阵分块矩阵，由其他较小的矩阵块组成。这些小的矩阵块被称为分块矩阵的块或者子矩阵比如，...

回忆：成像几何世界坐标系 (U，V，W) 中感兴趣的对象成像几何相机坐标系 (X, Y, Z)Z是光轴图像平面 (像素平面，成像平面) 位于沿光轴往外 f 个单位f 称为焦距成像几何正向投影到图像平面 (像素平面，成像平面) 上。三维（X，Y，Z）投影到二维（x，y）成像几何我们的图像被数字化成像素坐标（u，v）成像几何正向投影我们需要一个数学模型来描述如何...

成像几何世界坐标系 (U，V，W) 中感兴趣的对象成像几何相机坐标系 (X, Y, Z)Z是光轴图像平面 (像素平面，成像平面) 位于沿光轴往外 f 个单位f 称为焦距成像几何正向投影到图像平面 (像素平面，成像平面) 上。三维（X，Y，Z）投影到二维（x，y）成像几何我们的图像被数字化成像素坐标（u，v）成像几何正向投影我们需要一个数学模型来描述如何将三维...

今天的主题高斯拉普拉斯 (LoG) 滤波算子用于寻找边缘也有助于寻找斑点！使用高斯差分 (DoG) 来近似回忆：一阶导数滤波器输入图像灰度的急剧变化对应于输入信号一阶导数的“峰或谷”二阶导数滤波器输入信号一阶导数的峰或谷对应于输入信号二阶导数的“零交叉点”。数值导数泰勒级数展开中心差分近似于二阶导数例子：二阶导数优点：可以获得边缘的清晰定位，而不是边缘上高...

回忆级联高斯——用较小的高斯重复卷积来模拟较大的高斯卷积的效果。结合律例子：级联卷积帕斯卡三角形Aside: Binomial Approximation旁白：二项式近似n = 一维滤波器元素个数-1r = 滤波卷积核元素所在的位置 (0, 1, 2, …)观察帕斯卡三角形的奇数行[1 2 1]/4 近似 sigma=1/sqrt(2) 的高斯分布[1 4 6 ...

回忆：简单的立体视觉系统点（X, Y, Z）在左边相机的图像坐标 (Image coords)：点（X, Y, Z）在右边相机的图像坐标 (Image coords)：立体视差左边相机右边相机立体视差Z：深度depth，Tx基线baseline，d视差disparity深度计算Z=fTxdZ = \frac{fT_x}{d}Z=dfTx​​注：深度和立体视差成反比...

立体视觉通过两个或多个相机同时拍摄的图像，推导出深度信息基本投影模型为什么立体视觉？本质的歧义：射线OP上的任何点都会产生像素点p为什么立体视觉？第二个相机能够解决这个歧义，能够通过三角化进行深度的度量为什么立体视觉？你的一对眼睛组成了一个立体视觉系统右眼和左眼从稍微改变的角度看世界。今天的主要概念视差立体照片随机点立体图简单立体视觉的数学自己做视差演示...

回忆：高斯滤波器的导数观察和概括高斯函数的导数：看起来像垂直的和水平的阶跃边缘关键思想：带滤波器的卷积（和互相关cross correlation）可以被看作是将想要找到的内容与图像中的所有局部区域进行比较观察和概括关键思想：带滤波器的互相关cross correlation可以被看作是将想要找到的内容与图像中的所有局部区域进行比较下图看起来像垂直边缘；右边较浅最大响应（蓝色框...

动机：匹配问题像立体视觉和运动估计这样的视觉任务需要在两个或多个视图中找到相应的特征点。动机：块匹配要匹配的元素是固定大小的图像块任务：在第二个图像中找到最佳（最相似的）图像块不是所有创造的图像块都是等价的！直觉感受：因为它非常唯一独特（第二帧中只有一个图像块看起来相似），所以这是一个很好的匹配图像块。不是所有创造的图像块都是等价的！直觉感受：因为它不是非常唯一独特（在...

什么是边缘？简单的回答：灰度不连续处物体的边界不同材料性质的边界光照的边界边缘的类型（一维剖面）边缘可以根据灰度剖面来建模阶跃边缘 Step edge：图像灰度突然从不连续一侧的一个值变为另一侧的另一个值斜坡边缘 Ramp edge：灰度变化不是瞬间的而是在有限距离内发生的一种阶跃边缘例子边缘的类型（一维剖面）山脊边缘 Ridge edge：图像灰度值突然变化，然...

卷积总结在以一个像素为中心的邻域中计算线性算子。可以被认为是在图像上滑动一个固定系数的核，同时在重叠部分进行一个加权和。注意：满：在核和图像之间计算任何重叠部分的值（产生的图像比原图像大）相同：仅在核的中心像素与图像中的像素对齐时才计算值卷积：在图像上滑动之前，核旋转180度互相关：核不会首先被旋转边界处理方法：定义图像以外的值问题：导数与噪声噪声影响一阶导数数值导数可以放大...

回忆：二维梯度梯度=图像 I(x,y)的偏导数向量=[dI(x,y)/dx , dI(x,y)/dy]梯度向量场表示最陡上升的方向和坡度(当考虑图像像素值为一个平面/高度图时)数值导数有限前向差分有限后向差分有限中心差分：更精准例子：空间图像梯度注意：从现在开始，我们将去掉常数因子1/2。我们在后面去除以它。更具体地说线性滤波器一般流程：形成新图像，其像素是原始...

可视化图像回忆可视化一个图像的两种方法灰度模式二维数组弥补差距动机：我们想把图像可视化到足以保留人类洞察力的高度，但要低到足以让我们轻易地将自己的洞察力转化为数学符号，并最终转化为对数组进行运算的计算机算法。作为曲面的图像 表面高度与像素灰度值成比例 ( 深=低，浅=高)例子这样的可视化如何帮助我们？地形概念基本概念：上坡/下坡等高线（海拔高度相同的曲线）坡度...

http://www.cse.psu.edu/~rtc12/CSE486/CSE/EE486 Computer Vision IIntroduction to Computer Vision什么是视觉？特别强调：三维世界和一个二维图像的联系。物体的位置和特征。什么是计算机视觉？与下列有关系，但不等同于：摄影测量学图像处理人工智能为什么要学习计算机视觉？到处都有图像和视频应用...