Dear Dean

原创 双目立体视觉入门——（15）系统评估与调优

篇次主题核心要点①初识双目立体视觉ZfBdZ=fB/dZfBd，标定→校正→匹配→三角测量②相机成像几何模型针孔模型，四坐标系，ρpKR∣TPwρpKR∣TPw​③镜头畸变与畸变校正Brown-Conrady 五参数，逆映射校正④相机标定之张正友标定法单应性矩阵，闭合解+LM 优化，重投影 < 0.5 px⑤相机标定之直接线性变换法（DLT）3D 控制点线性求投影矩阵，RQ 分解得内外参⑥相机标定之Tsai两步法。

原创 双目立体视觉入门——（14）OpenCV双目立体视觉完整实践

本文基于OpenCV实现双目立体视觉端到端工程，从标定、校正到三维重建全流程。通过棋盘格标定获取相机参数，利用SGBM算法进行立体匹配，结合重投影矩阵生成点云，并针对参数调优、实时性能与常见问题提出优化方案，实现从原始图像到三维点云的高效转换。

原创 双目立体视觉入门——（13）三角测量与三维重建

本文系统阐述了从双目视差图生成三维点云的完整流程：通过三角测量公式 $Z = fB/d$ 将视差转为深度，结合相机内参反投影得到三维坐标；利用 reprojectImageTo3D 实现高效转换；采用 PLY 等格式存储，并通过 Open3D 等工具可视化；经统计滤波、体素下采样等后处理优化点云质量；分析表明深度精度随距离平方衰减，远距误差显著；最后通过 ICP 算法实现多视角点云配准，完成三维重建闭环。

原创 双目立体视觉入门——（12）视差图后处理与优化

本文系统介绍双目视差图后处理流水线，涵盖左右一致性检查、滤波去噪、空洞填充、亚像素精化与小区域剔除五大环节。针对原始视差图的噪声、空洞、边界过冲与深度量化阶梯等问题，提出基于OpenCV的解决方案，强调各步骤物理意义与工程实现。结合可视化与公开基准（Middlebury、KITTI、ETH3D）评估体系，阐明后处理在三维重建精度链中的关键作用，为高精度立体视觉应用提供完整技术指南。

原创 双目立体视觉入门——（11）立体匹配进阶——全局法与SGM

本文系统介绍立体匹配中的全局优化方法，核心为能量最小化框架，通过数据项与平滑项协同求解最优视差图。对比图割（高精度、慢）与动态规划（快但有拉丝效应），重点阐述工业主流的SGM算法：基于多路径一维动态规划实现近似全局优化，有效抑制拉丝效应；结合P1/P2惩罚参数控制平滑性与边界保持，并通过左右一致性检查剔除遮挡误匹配。最终在精度与效率间取得平衡，成为实时双目视觉标准。

原创 双目立体视觉入门——（10）立体匹配基础：局部方法

本文系统阐述局部立体匹配的四阶段流水线：代价计算、聚合、视差选择与精化，聚焦匹配代价设计。对比SAD、SSD、NCC等灰度差代价与Census变换（基于序关系）的特性，强调其在光照鲁棒性与结构敏感性上的优势。结合支撑窗口尺寸权衡与四大基本假设（光度一致性、表面连续性、左右序保持、匹配唯一性），揭示局部方法在纹理缺失、遮挡、深度跳变等场景下的局限，并引出后续全局优化方法的必要性。

原创 双目立体视觉入门——（9）立体图像校正

立体图像校正通过几何变换将倾斜极线转为水平行，实现同名点的水平搜索，显著提升立体匹配效率。Bouguet方法基于已标定参数，采用旋转对半平摊与公共旋转R_rect使两相机共面且行对齐，生成校正矩阵P1、P2及重投影矩阵Q，支持直接计算深度。Hartley方法则仅需基础矩阵F，适用于未标定系统。OpenCV提供三步法实现，结合映射表预计算与α参数调优，可有效评估校正质量。校正后视差直观，是三维重建的关键前置步骤。

原创 双目立体视觉入门——（8）对极几何（Epipolar Geometry）

本文系统阐述对极几何的核心理论与应用。从三点共面的几何本质出发，推导出对极约束：左图点在右图中的同名点必位于一条极线上，将立体匹配搜索从二维降为一维。通过代数推导，引入本质矩阵 $E$（依赖外参）与基础矩阵 $F$（含内参），建立像素坐标间的约束关系 $\mathbf{p}_R^T F \mathbf{p}_L = 0$。详解 $E$ 的分解与位姿恢复、$F$ 的归一化8点法求解，并结合视觉SLAM、三维重建等场景，说明其在立体匹配、误匹配剔除、深度恢复中的关键作用。

原创 双目立体视觉入门——（7）双相机立体标定

标定目的：求左右相机的相对外参R∣T[R\mid T]R∣TTTT的模长即基线BBB；原理推导：由各自外参推算RRRRLTTtR−RtLRRR​RLT​TtR​−RtL​，再以联合最大似然优化精化；流程：左右单目标定 → 同步采集 → 求解R∣T[R\mid T]R∣T→ 联合优化；关键约束：左右相机必须同时拍摄同一位姿标定板，世界坐标系才能统一；基线权衡：由ΔZ≈Z2ΔdfBΔZ≈Z。

原创 双目立体视觉入门——（6）相机标定之 Tsai 两步法

核心创新：RAC 径向排列约束——从像主点（图像中心）出发，理想像点与畸变像点方向一致、三点共线，借此消去内参，把问题拆成两步；第一步：用 RAC 线性求解外参RRRTxT_xTx​TyT_yTy​，再用 SVD 正交化RRR；第二步：迭代求解内参fffK1K_1K1​TzT_zTz​SxS_xSx​CxCy(C_x, C_y)Cx​Cy​，通常用 LM 算法；设计取舍：只建模径向畸变K1K_1K1​。

原创 双目立体视觉入门——（5）相机标定之直接线性变换法（DLT）

本文系统阐述直接线性变换法（DLT）在相机标定中的原理与实现。针对张正友法对平面标定板的依赖，DLT采用三维控制场，通过3D-2D点对应关系直接求解投影矩阵$M$，再经RQ分解获得内参$K$、外参$R$与$\mathbf{t}$。推导涵盖投影矩阵求解的齐次方程构建、Hartley归一化、共面退化分析及最少观测数要求，并说明非线性优化的必要性。与张正友法对比，DLT适用于远距离大视场场景，无需初始值，但需非共面控制点。

原创 双目立体视觉入门——（4）相机标定之张正友标定法

本文系统阐述张正友相机标定法的原理与实现，聚焦于利用棋盘格标定板在多视角下求解相机内参与畸变系数。通过建立平面世界坐标与图像坐标的单应性关系，结合内参约束方程，分步求解并优化参数。该方法以低硬件成本、高精度和易操作性成为主流标定方案，广泛应用于OpenCV等视觉库，并为工业级自研标定提供理论基础。

原创 双目立体视觉入门——（3）镜头畸变与畸变校正

本文系统阐述了相机镜头畸变的成因、类型及校正方法。实际镜头因透镜缺陷与装配偏差产生径向（桶形、枕形）和切向畸变，影响图像精度。采用布朗-康拉迪五参数模型（$k_1, k_2, k_3, p_1, p_2$）可有效描述畸变，通过逆映射与双线性插值实现校正。OpenCV 提供高效接口（如 cv2.undistort），结合 getOptimalNewCameraMatrix 可灵活控制输出视场，广泛应用于计算机视觉任务中。

原创 双目立体视觉入门——（2）相机成像几何模型

本文系统阐述了针孔相机模型与四坐标系（世界、相机、图像物理、像素）间的转换关系，推导了从三维世界点到二维像素坐标的完整投影链：通过外参（旋转+平移）实现世界到相机坐标系变换，经透视投影映射至图像物理坐标，再由内参矩阵完成像素化。核心公式为 $\rho \begin{bmatrix} u \ v \ 1 \end{bmatrix} = K[R|T] \begin{bmatrix} X_w \ Y_w \ Z_w \ 1 \end{bmatrix}$，其中 $K$ 包含焦距 $f_x, f_y$ 与主点 $(u

原创 双目立体视觉入门——（1）初识双目立体视觉

恭喜小伙伴们读到这里！

原创 Linux（6）---Ubuntu 18.04.2LTS 安装Chrome

1、下载chrome的.deb包wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb2、执行.debdpkg -i google-chrome-stable_current_amd64.deb3、启动Chrome/usr/bin/google-chrome-stable...

原创 Linux（5）---Linux中nano命令

nano是一个字符终端的文本编辑器，有点像DOS下的editor程序。它比vi/vim要简单得多，比较适合Linux初学者使用。某些Linux发行版的默认编辑器就是nano。nano命令可以打开指定文件进行编辑，默认情况下它会自动断行，即在一行中输入过长的内容时自动拆分成几行，但用这种方式来处理某些文件可能会带来问题，比如Linux系统的配置文件，自动断行就会使本来只能写在一行上的内容折断成多......

原创 Linux（4）---Linux文件权限

原创 立体匹配——End-to-End Learning of Geometry and Context for Deep Stereo Regression

端到端学习几何和背景的深度立体回归我们提出了一个新颖的深度学习体系结构，用于求解矫正后的立体图像对的视差问题。我们利用问题几何的知识来使用深度特征表示形成成本量。我们学习在这个量上使用三维卷积结合上下文信息。视差值从成本量中使用提出的可微分软性argmin操作进行回归，这允许我们在不需要任何额外的后处理或正则化的情况下，将我们的方法端对端地训练到亚像素精度。 我们在场景流和KITTI数据集上评

原创 立体匹配——A Large Dataset to Train Convolutional Networks for Disparity, Optical Flow, and Scene Flow Es

一个大数据集来训练卷积网络的视差，光流和场景流量估计相关资源下载：https://download.youkuaiyun.com/download/qq_38906523/10297512摘要最近的工作表明，光流估计可以被制定为监督学习任务，并且可以用卷积网络成功解决。所谓的FlowNet的培训是由一个大型的综合生成的数据集启用的。 本文将光学流量估计的概念通过卷积网络扩展到视差和场景流估计。为此

原创 Linux（3）---Ubuntu 16.04安装Chrome浏览器

一、先有一个hosts能访问Google参考：http://www.cnblogs.com/EasonJim/p/5999060.html二、安装方法有两种，如下所示：1、下载deb包（推荐）#下载wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb#安装s...

转载 立体视觉–stereo correspondence（双目立体匹配）

立体视觉是计算机视觉领域的一个重要课题，它的目的在于重构场景的三维几何信息。立体视觉的研究具有重要的应用价值，其应用包括移动机器人的自主导航系统，航空及遥感测量，工业自动化系统等。1. 引言    立体视觉是计算机视觉领域的一个重要课题，它的目的在于重构场景的三维几何信息。立体视觉的研究具有重要的应用价值，其应用包括移动机器人的自主导航系统，航空及遥感测量，

原创 Linux（2）---到什么程度才叫精通Linux？

1．掌握至少50个以上的常用命令。2．熟悉Gnome/KDE等X-windows桌面环境操作。3．掌握.tgz、.rpm等软件包的常用安装方法。4．学习添加外设，安装设备驱动程序（比如网卡）。5．熟悉Grub/Lilo引导器及简单的修复操作。6．熟悉Linux文件系统和目录结构。7．掌握vi,gcc,gdb等常用编辑器，编译器，调试器。8．理解shell别名、管道、I/

转载 立体匹配的研究背景以及意义

转载请注明出处：http://blog.youkuaiyun.com/wangyaninglm/article/details/51533549， 来自： shiter编写程序的艺术计算机视觉是一门研究使用计算机来模拟人的视觉系统的学科。“一图胜千言”，人类对于图像中的信息感知效率远超文字等其他媒介，人类获取的信息总量中更是有高达80%依靠视觉系统[1]。相对于人类高效的图像信息提取能力，计算

原创 Linux（1）---Ubuntu下终端的常用快捷键

Ubuntu的终端（Terminal）有许多快捷键，记住下面这些常用的快捷键，可以让操作更得心应手。

原创 openCV学习之路【1】---VS2015+openCV3.2.0配置教程

本人研究生的课题是关于立体视觉和图像处理的，所以看了很多OpenCV和图像处理相关的知识与内容。为了加深自己对学习内容的印象和理解，同时也为了能给志同道合的朋友一些借鉴，故把自己所学写在博客里分享出去。       这是一篇启程之作。介绍了opencv3.0.0和opencv3.2.0与VS2015的环境配置。OK，开始啦！1.下载和安装