hirshdz327的博客

之前将OpenCV中的Python部分的4.7.0版本文章翻译完成，

因此，通过手动编写封装函数将 OpenCV 中的所有函数扩展到 Python 是一项耗时的任务。为此，在这些声明的开头添加了一些宏，使头文件解析器能够识别要解析的函数。以下面的积分函数为例。就是这种幽灵方法的例子，它们在 C++ 接口中并不存在，但在 Python 端却需要用来处理 OpenCL 功能。因此，简而言之，几乎所有操作都是在 C++ 中完成的，这样我们就能获得与 C++ 几乎相同的速度。更高级的情况是为 Python 提供 C++ 接口中不存在的额外功能，如额外方法、类型映射或提供默认参数。

了解 OpenCV-Python 绑定是如何生成的。（这里的绑定的意思就是如何让opencv的函数在python的环境中起作用，中间需要的环节）在此，您将了解 OpenCV-Python 绑定是如何生成的。

在本章中，我们将高动态范围成像（HDRI 或 HDR）是成像和摄影中使用的一种技术，用于再现比标准数字成像或摄影技术更大的亮度动态范围。虽然人眼可以适应各种光线条件，但大多数成像设备每个通道使用 8 位，因此我们只能看到 256 级。当我们拍摄真实世界的场景时，明亮的区域可能曝光过度，而黑暗的区域可能曝光不足，因此我们无法通过一次曝光捕捉到所有细节。HDR 图像使用每个通道超过 8 位的图像（通常是 32 位浮点数值），动态范围更广。

它在要涂抹的像素周围选取一个小的邻域。那些靠近点的像素、靠近边界法线的像素和位于边界轮廓线上的像素会得到更多权重。一旦一个像素被内绘，它就会使用快速行进法移动到下一个最近的像素。在匹配内绘区域边界的梯度矢量时，它会继续等距线（连接相同强度点的线，就像等高线连接相同海拔高度的点）。基本原理很简单： 用相邻的像素替换那些坏的标记，使其看起来与相邻的像素一样。我们需要创建一个与输入图像大小相同的遮罩，其中非零像素对应于要进行涂色的区域。第三张图片是第一种算法的结果，最后一张图片是第二种算法的结果。

在这种情况下，将使用总的 temporalWindowSize 帧数，其中中心帧就是要去噪的帧。在前面的章节中，我们已经看到了许多图像平滑技术，如高斯模糊（Gaussian Blurring）、中值模糊（Median Blurring）等，它们在一定程度上可以很好地去除少量噪声。因此，我们取一个像素点，在其周围开一个小窗口，搜索图像中的相似窗口，求出所有窗口的平均值，然后用得到的结果替换像素点。您可以从不同的图像中提取大量相同的像素（例如 N），然后计算它们的平均值。如上所述，它用于去除彩色图像中的噪声。

您是否有一张有许多黑点和笔画的老照片？让我们尝试使用一种名为 "图像内绘 "的技术来修复它们。在这里，您将学习到与计算摄影相关的各种 OpenCV 功能，如图像去噪等。查看去除图像中杂质的好技术–非局部均值去噪。学习如何合并曝光序列和处理高动态范围图像。

因此，我们需要将图像重塑为 Mx3 大小的数组（M 为图像中的像素数）。聚类后，我们对所有像素应用中心点值（也是 R、G、B），这样得到的图像将具有指定数量的颜色。例如，在本例中，我们设置了大小为 50x2 的测试数据，即 50 个人的身高和体重。第一行包含两个元素，第一个是第一个人的身高，第二个是他的体重。因此，我们有一个大小为 50 的数组 “z”，其值范围为 0 至 255。例如，我们可以以 T 恤问题为例，只用人们的身高来决定 T 恤的尺寸。请记住，在之前的例子中，我们将数据转化为单列向量。

现在让我们试试 OpenCV 中的 K-Means 功能。通过阅读直观了解 K-均值聚类。

接下来，我们必须找到每个单元格的 HOG 描述符。为此，我们要找到每个单元格在 X 和 Y 方向上的 Sobel 导数。对于每个子方格，计算方向的直方图（16 个分区），并用它们的大小加权。四个这样的向量（四个子方格的向量）加起来就是一个包含 64 个值的特征向量。您可以尝试 SVM 不同参数的不同值，以检查是否有可能获得更高的准确率。或者，您也可以阅读这方面的技术论文，并尝试将其付诸实施。在找到 HOG 之前，我们先利用图像的二阶矩对图像进行纠偏。左图为原始图像，右图为纠偏后的图像。

如果我们能用函数 f(x)=x2 映射这个数据集，我们就能得到 "X "在 9 处，"O "在 1 处，这是线性可分的。总之，我们需要修改我们的模型，使它能找到边际最大但误判较少的判定边界。在 kNN 中，对于测试数据，我们习惯于测量它与所有训练样本的距离，然后取距离最小的样本。然后，"X "变成（-3,9）和（3,9），而 "O "变成（-1,1）和（1,1）。对于那些没有被错误分类的样本，它们位于相应的支持平面上，因此它们的距离为零。在我们的图片中，它们就是一个蓝色填充的圆圈和两个红色填充的方块。

在 OpenCV 中使用 SVM 功能。

然后，对于每个数字（20x20 像素），我们将其扁平化为一列 400 像素的图像。我们将每个数字的前 250 个样本作为训练数据，将其他 250 个样本作为测试数据。在这里，OpenCV 提供了一个数据文件 letter-recognition.data，而不是图像，它位于 opencv/samples/cpp/ 文件夹中。实际上，每一行的第一列都是一个字母，也就是我们的标签。由于我们使用强度值（uint8 数据）作为特征，因此最好先将数据转换为 np.uint8 格式，然后再保存。

在我们的图片中，假设 k=3，即考虑 3 个最近的邻居。新成员有两个红邻和一个蓝邻（有两个蓝邻距离相等，但由于 k=3，我们只能取其中一个），所以他还是应该加入红邻家族。我们会发现，新成员的四个近邻中，有 2 个红色近邻和 2 个蓝色近邻，因此我们需要选择一种方法来打破平局，从而进行分类。同样，在 kNN 中，我们确实考虑了 k 个近邻，但我们对所有近邻都给予了同等重视，对吗？然后，我们将每个家族的总权重分别相加，并将新来者归入总权重较高的家族。我们将在这里做一个简单的例子，和上面一样，有两个族（类）。

学习使用 K-Means 聚类将数据归入若干个聚类。学习使用 K-Means 聚类进行颜色量化。学习使用 KNN 进行分类 再学习使用 KNN 进行手写数字识别。了解 SVM 的概念。

内容已移至本页：

x 和 x′ 是场景点 3D 对应的图像平面上的点与摄像机中心之间的距离。B 是两台摄像机之间的距离（我们已经知道），f 是摄像机的焦距（已经知道）。因此，简而言之，上式表明，场景中某一点的深度与对应图像点与其摄像机中心的距离之差成反比。因此，有了这些信息，我们就可以推导出图像中所有像素的深度。我们还看到，如果我们有两张相同场景的图像，我们就能以直观的方式从中获取深度信息。因此，它可以在两幅图像之间找到相应的匹配点。通过调整 numDisparities 和 blockSize 的值，可以得到更好的结果。

简单地说，基本矩阵 F 将一个图像中的点映射到另一个图像中的一条线（外延线）上。它应该在这条线上的某处（这样想的话，要在其他图像中找到匹配点，就不需要搜索整个图像，只需沿着外延线搜索即可。我们的眼睛也以类似的方式工作，即使用两个摄像头（两只眼睛），这就是所谓的立体视觉。如果只使用左侧摄像机，我们就无法找到图像中 x 点对应的 3D 点，因为 OX 线上的每个点都投影到图像平面上的同一个点。在第二幅图像上绘制与第一幅图像中的点相对应的外延线。因此，要找到外极点的位置，我们可以找到多条外延线并找到它们的交点。

给定一幅图案图像后，我们可以利用上述信息来计算它的姿态，或物体在空间中的位置，如旋转、位移等。然后，与之前的情况一样，我们创建终止标准、对象点（棋盘中角的三维点）和轴点。我们绘制长度为 3 的轴线（单位为国际象棋正方形的大小，因为我们是根据该大小进行校准的）。因此，我们的 X 轴从 (0,0,0) 到 (3,0,0)，Y 轴也是如此。至于 Z 轴，则是从（0,0,0）到（0,0,-3）。简单来说，我们要在图像平面上找到三维空间中(3,0,0)、(0,3,0)和(0,0,3)各对应的点。请看下面的一些结果。

(在这种情况下，我们不知道正方形的大小，因为我们没有拍摄这些图像，所以我们用正方形的大小来传递）。相机矩阵是特定相机独有的，因此一旦计算出来，就可以在同一相机拍摄的其他图像上重复使用。因此，一个好的方法是编写代码，使其启动相机并检查每一帧图像中的所需图案。同时，在读取下一帧图像之前，要留出一定的时间间隔，以便我们能将棋盘调整到不同的方向。要找到这些参数，我们必须提供一些定义明确的图案（如棋盘）的样本图像。我们知道这些点在现实世界空间中的坐标，也知道它们在图像中的坐标，因此我们可以求解失真系数。

在这里，有些人可能会认为这些点的顺序是随机的。首先，需要将数据排列在一个大小为 n x 2 的矩阵中，其中 n 是我们拥有的数据点的数量。这意味着，与只知道点在特征 1 轴或特征 2 轴上的位置相比，如果知道点在蓝线上的位置，就能获得更多关于点的信息。事实上，在图中的点集合上运行 PCA 的结果由 2 个称为特征向量的向量组成，它们是数据集的主成分。代码会打开一幅图像，找出检测到的感兴趣物体的方向，然后通过绘制检测到的感兴趣物体的轮廓线、中心点以及关于提取方向的 x 轴和 y 轴，将结果可视化。

因此，由于训练数据现在是非线性可分离的，我们必须承认所找到的超平面会对一些样本进行错误分类。新模型必须同时满足旧要求和新要求，旧要求是找到能提供最大余量的超平面，新要求是通过不允许过多的分类错误来正确归纳训练数据。然而，这并不是一个很好的解决方案，因为除其他原因外，我们并没有区分与适当决策区域距离较小的误分类样本和未被误分类的样本。本练习的训练数据由一组带有标签的二维点组成，这些点属于两个不同类别中的一个。图中只显示了分类错误的样本的距离。较小的值，可以增加点的密度，并深入探讨参数 C 的影响。

上一个教程 ：级联分类器训练下一个教程 ：非线性可分离数据的支持向量机Original authorFernando Iglesias GarcíaCompatibilityOpenCV >= 3.0目标在本教程中，您将学习如何使用 OpenCV 函数 cv::ml::SVM::train 构建基于 SVM 的分类器，并使用 cv::ml::SVM::predict 测试其性能。什么是 SVM？支持向量机（SVM）是一种由分离超平面正式定义的判别分类器。

在OpenCV4.8.0 的extra modules里面找不到barcode这一栏是因为barcode已经移到了main modules的object detection里面了，准确来说条形码识别更方便了，因为这个类已经内置了。之前鸽了好久了，现在准备续上前面4.7.0的文档翻译。。。质量堪堪吧。

上一个教程： 级联分类器下一个教程： 支持向量机简介简介使用升压级联的弱分类器工作包括两个主要阶段：训练和检测阶段。使用基于HAAR或LBP模型的检测阶段，在对象检测教程中有所描述。本文档概述了训练你自己的弱分类器的提升级联所需的功能。目前的指南将走过所有不同的阶段：收集训练数据、准备训练数据和执行实际的模型训练。为了支持本教程，将使用几个官方的OpenCV应用程序：opencv_createsamples、opencv_annotation、opencv_traincascade和opencv_v

现在，每个核的所有可能的大小和位置都被用来计算大量的特征。无论你的图像有多大，它都能将一个给定像素的计算减少到只涉及四个像素的操作。使用基于Haar特征的级联分类器进行物体检测是一种有效的物体检测方法，由Paul Viola和Michael Jones于2001年在他们的论文《使用简单特征的提升级联的快速物体检测》中提出。最后的分类器是这些弱分类器的加权和。每个特征都是一个单一的值，由白色矩形下的像素之和减去黑色矩形下的像素之和得到。(上图中的两个特征实际上是作为Adaboost的最佳两个特征得到的）。

上一个教程： Meanshift和Camshift下一个教程： 级联分类器目标在本章中我们将了解光流的概念以及使用Lucas-Kanade方法对其进行估计。我们将使用cv.calcOpticalFlowPyrLK()等函数来跟踪视频中的特征点。我们将使用cv.calcOpticalFlowFarneback()方法创建一个密集的光流场。光流光流是由物体或摄像机的运动引起的图像对象在两个连续帧之间的明显运动模式。它是一个二维矢量场，其中每个矢量都是显示点从第一帧到第二帧运动的位移矢量。请看

但如果你找到该窗口内各点的中心点，你会得到 “C1_r”（标在蓝色小圆圈内），这才是该窗口的真正中心点。因此，移动你的窗口，使新窗口的圆圈与先前的中心点相匹配。所以再移动它，继续迭代，使窗口的中心和它的中心点落在同一位置（或在一个小的期望误差内）。要在OpenCV中使用均移，首先我们需要设置目标，找到它的直方图，这样我们就可以在每一帧上反推目标以计算均移。我们还需要提供一个窗口的初始位置。它类似于meanshift，但返回一个旋转的矩形（这就是我们的结果）和盒子参数（用于在下一次迭代中作为搜索窗口传递）。

在第一步中，计算背景的初始模型，而在第二步中，该模型被更新，以适应场景中可能的变化。在下面你可以找到源代码。我们将让用户选择处理一个视频文件或一个图像序列。在本教程中，我们将学习如何通过使用OpenCV来执行BS。结果以及输入数据都显示在屏幕上。在这个例子中，我们将使用。可下载的代码： 点击这里。

捆绑调整的细化掩码是XXXX（-ba_refine_mask xxxxx），其中’x’表示细化各自的参数，'_'表示不细化。将用DOT语言表示的匹配图保存到test.txt（-save_graph test.txt）： 标签描述： Nm是匹配的数量，Ni是离群的数量，C是置信度。如果你想研究缝合管道的内部结构，或者你想尝试详细的配置，你可以使用c++或python中的stitching_detailed源代码。特别是你不应该把实现仿生模型的类和实现同源模型的类混在一起，因为它们使用不同的变换。

当我们拍摄现实世界场景的照片时，明亮的区域可能曝光过度，而黑暗的区域可能曝光不足，所以我们不能用一次曝光来捕捉所有细节。有不同的方法来获得HDR图像，但最常见的方法是使用不同曝光值拍摄的场景的照片。为了结合这些曝光，了解你的相机的响应函数是很有用的，有一些算法可以估计它。当场景中的物体或相机在拍摄之间移动时，会产生额外的复杂性，因为不同曝光的图像应该被登记和对齐。由于我们想在普通的LDR显示器上看到我们的结果，我们必须将我们的HDR图像映射到8位范围，保留大部分细节。它也不使用照片的曝光值。

photo. 高动态范围成像stitching. 高水平的缝合API（Stitcher类）video. 如何使用背景减法方法video. 平均移位和凸轮移位video. 光学流objdetect. 级联分类器objdetect. 级联分类器训练ml. 支持向量机简介ml. 非线性可分离数据的支持向量机ml. 主成分分析（PCA）简介

内容已被移至此页：

我们使用了一个queryImage，找到了其中的一些特征点，我们又取了一个trainImage，也找到了该图像中的特征，并在其中找到了最佳匹配。简而言之，我们在另一张杂乱的图像中找到了一个物体的某些部分的位置。如果找到了足够的匹配，我们就提取两幅图像中的匹配关键点的位置。一旦我们得到这个3x3的变换矩阵，我们就用它来把queryImage的角落变换成trainImage中的相应点。否则就显示一个信息，说没有足够的匹配物。首先，像往常一样，让我们在图像中找到SIFT特征，并应用比率测试来找到最佳匹配。

如果它为真，Matcher只返回那些具有(i,j)值的匹配，即A组的第i个描述符与B组的第j个描述符是最佳匹配，反之亦然。（因为我们使用的是ORB），为了获得更好的结果，交叉检查被打开了。对于基于FLANN的匹配器，我们需要传递两个字典，以指定要使用的算法及其相关参数等。在这个例子中，我们将采用k=2，这样我们就可以应用D.Lowe在他的论文中解释的比率测试。它将第一组中的一个特征的描述符与第二组中的所有其他特征使用某种距离计算进行匹配。根据文档，建议使用注释值，但在某些情况下，它没有提供所需的结果。

在这一章中作为一个OpenCV的爱好者，关于ORB最重要的是它来自 “OpenCV实验室”。这个算法是由Ethan Rublee, Vincent Rabaud, Kurt Konolige和Gary R. Bradski在2011年的论文中提出的。正如标题所说，它是SIFT和SURF在计算成本、匹配性能以及主要是专利方面的一个很好的替代品。是的，SIFT和SURF是有专利的，你应该为其使用付费。但ORB不是！！！ORB基本上是融合了SIFT和SURF的优点！

然而，与CenSurE不同的是，它使用正方形、六边形和八边形等多边形来接近一个圆，Star用2个重叠的方块来模拟一个圆： 一个直立的和一个旋转45度的。与SIFT和SURF不同的是，SIFT和SURF是在次采样像素处寻找极值，从而影响了大尺度的准确性，而CenSurE是利用金字塔中所有尺度的全空间分辨率创建特征向量。为数以千计的特征创建这样一个向量需要大量的内存，这对于资源有限的应用来说是不可行的，尤其是对于嵌入式系统。有一点很重要的是，BRIEF是一个特征描述符，它没有提供任何方法来寻找特征。

对于邻域，定义了三个标志：cv.FAST_FEATURE_DETECTOR_TYPE_5_8，cv.FAST_FEATURE_DETECTOR_TYPE_7_12和cv.FAST_FEATURE_DETECTOR_TYPE_9_16。但是当从实时应用的角度来看，它们的速度不够快。一个最好的例子是SLAM（同步定位和测绘）移动机器人，它的计算资源有限。如果你愿意，你可以指定阈值，是否应用非最大抑制，使用的邻域等。它是通过使用非最大抑制来解决的。前3点是用机器学习的方法解决的。最后一个是用非最大抑制法解决的。

目标在本章中我们将看到SURF的基础知识我们将看到OpenCV中的SURF功能理论在上一章中，我们看到SIFT用于关键点的检测和描述。但它相对较慢，人们需要更多的加速版本。2006年，三个人，Bay, H., Tuytelaars, T.和Van Gool, L，发表了另一篇论文，“SURF: Speeded Up Robust Features”，介绍了一种新的算法，叫做SURF。顾名思义，它是SIFT的一个加速版本。在SIFT中，Lowe用高斯之差（Difference of Gauss

因此，我们可以找到整个尺度和空间的局部最大值，这给了我们一个(x,y,σ)值的列表，这意味着在(x,y)的σ尺度上有一个潜在的关键点。它们是旋转不变的，这意味着，即使图像被旋转，我们也能找到相同的角。例如，图像中的一个像素与它的8个邻居以及下一个比例尺的9个像素和以前比例尺的9个像素进行比较。我们可以向它传递不同的参数，这些参数是可选的，它们在文档中有很好的解释。每个关键点是一个特殊的结构，它有许多属性，如它的（x,y）坐标，有意义的邻域的大小，指定其方向的角度，指定关键点的强度的响应等。