【opencv 450 core】Mat - The Basic Image Container

原创已于 2022-03-22 10:23:45 修改 · 1.4k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#opencv #c++

于 2022-03-20 09:34:55 首次发布

opencv 专栏收录该内容

87 篇文章

订阅专栏

本文详细介绍了OpenCV中的核心图像容器类Mat，包括其内存管理、引用计数系统、创建与初始化方法以及如何存储像素值。Mat类消除了手动内存管理的需要，提供了自动内存分配和引用计数机制，确保高效使用内存。此外，文章还讨论了不同的颜色空间和数据类型，以及如何创建和操作二维和多维矩阵。

Mat - The Basic Image Container

我们有多种方法可以从现实世界中获取数字图像：数码相机、扫描仪、计算机断层扫描和磁共振成像等等。在每种情况下，我们（人类）看到的都是图像。但是，当将其转换为我们的数字设备时，我们记录的是图像每个点的数值。

例如在上图中，您可以看到汽车的镜子只不过是一个包含所有像素点强度值的矩阵。我们如何获取和存储像素值可能会根据我们的需要而有所不同，但最终计算机世界中的所有图像都可能被简化为数字矩阵和描述矩阵本身的其他信息。 OpenCV 是一个计算机视觉库，其主要重点是处理和操作这些信息。因此，您首先需要熟悉的是 OpenCV 如何存储和处理图像。

Mat

OpenCV 自 2001 年以来一直存在。当时，该库是围绕 C 接口构建的，为了将图像存储在内存中，他们使用称为 IplImage 的 C 结构。这是您将在大多数较早的教程和教育材料中看到的内容。这样做的问题是它把 C 语言的所有缺点都摆在了桌面上。最大的问题是手动内存管理。它建立在用户负责处理内存分配和释放的假设之上。虽然这对于较小的程序来说不是问题，但一旦您的代码库增长，处理所有这些而不是专注于解决您的开发目标将更加困难。

幸运的是，C++ 出现并引入了类的概念，通过自动内存管理（或多或少）使用户更容易。好消息是 C++ 与 C 完全兼容，因此在进行更改时不会出现兼容性问题。因此，OpenCV 2.0 引入了一个新的 C++ 接口，它提供了一种新的做事方式，这意味着您无需摆弄内存管理，使您的代码简洁（少写，实现更多）。 C++ 接口的主要缺点是目前许多嵌入式开发系统仅支持 C。因此，除非您的目标是嵌入式平台，否则使用旧方法是没有意义的（除非您是受虐狂程序员并且您要问麻烦）。

关于 Mat 你需要知道的第一件事是你不再需要手动分配它的内存并在你不需要它时立即释放它。虽然这样做仍有可能，但大多数 OpenCV 函数将自动分配其输出数据。如果你传递一个已经存在的 Mat 对象，它已经为矩阵分配了所需的空间，这是一个很好的奖励，这将被重用。换句话说，我们始终只使用执行任务所需的内存。

Mat 基本上是一个具有两个数据部分的类：矩阵头（包含诸如矩阵大小、用于存储的方法、存储的矩阵的地址等信息）和指向包含像素值（根据选择的存储方法采用任何维度）。矩阵头大小是恒定的，但是矩阵本身的大小可能因图像而异，并且通常大几个数量级。

OpenCV 是一个图像处理库。它包含大量图像处理功能。为了解决计算难题，大多数时候您最终会使用库的多个功能。因此，将图像传递给函数是一种常见的做法。我们不应该忘记我们谈论的是图像处理算法，它往往计算量很大。我们要做的最后一件事是通过对可能较大的图像进行不必要的副本来进一步降低程序的速度。

为了解决这个问题，OpenCV 使用了引用计数系统。这个想法是每个 Mat 对象都有自己的header，但是通过让它们的矩阵指针指向相同的地址，可以在两个 Mat 对象之间共享一个矩阵。此外，复制运算符只会复制headers和指向大矩阵的指针，而不是数据本身。

Mat A, C; // creates just the header parts

A = imread(argv[1], IMREAD_COLOR); // here we'll know the method used (allocate matrix)

Mat B(A); // Use the copy constructor 使用复制构造函数

C = A; // Assignment operator 赋值运算符

最后，所有上述对象都指向同一个数据矩阵，并且使用其中任何一个进行修改也会影响所有其他对象。实际上，不同的对象只是为相同的底层数据提供不同的访问方法。然而，它们的标题部分是不同的。真正有趣的部分是您可以创建仅引用完整数据的一部分的header。例如，要在图像中创建region of interest感兴趣区域 (ROI)，您只需创建具有新边界的新header：

Mat D (A, Rect(10, 10, 100, 100) ); // 使用矩形

Mat E = A(Range::all(), Range(1,3)); // 使用行和列边界

现在你可能会问——如果矩阵本身可能属于多个 Mat 对象，当不再需要它时谁负责清理它？简短的回答是：最后一个使用它的对象。这是通过使用引用计数机制来处理的。每当有人复制 Mat 对象的标题时，矩阵的计数器就会增加。每当清除标头时，此计数器就会减少。当计数器达到零时，矩阵被释放。有时你也想复制矩阵本身，所以 OpenCV 提供了 cv::Mat::clone() 和 cv::Mat::copyTo() 函数。

Mat F = A.clone();

Mat G;

A.copyTo(G);

现在修改 F 或 G 不会影响 A 的 header 指向的矩阵。从这一切中你需要记住的是：

OpenCV 函数的输出图像分配是自动的（除非另有说明）。

您无需考虑使用 OpenCV 的 C++ 接口进行内存管理。

赋值运算符和复制构造函数只复制标题。

可以使用 cv::Mat::clone() 和 cv::Mat::copyTo() 函数复制图像的底层矩阵。

Storing methods

这是关于如何存储像素值的。您可以选择使用的色彩空间和数据类型。颜色空间是指我们如何组合颜色分量以编码给定的颜色。最简单的一种是灰度，我们可以使用的颜色是黑色和白色。这些的组合使我们能够创建许多灰色阴影。

对于丰富多彩的方式，我们有更多的方法可供选择。它们中的每一个都将其分解为三个或四个基本组件，我们可以使用这些组件的组合来创建其他组件。最受欢迎的一种是 RGB，主要是因为这也是我们的眼睛构建颜色的方式。它的基色是红色、绿色和蓝色。为了编码颜色的透明度，有时会添加第四个元素 alpha (A)。

然而，还有许多其他颜色系统，每个都有自己的优点：

RGB 是最常见的，因为我们的眼睛使用类似的东西，但请记住，OpenCV 标准显示系统使用 BGR 颜色空间来组合颜色（红色和蓝色通道交换位置）。

HSV 和 HLS 将颜色分解为它们的色调、饱和度和值/亮度分量，这是我们描述颜色的更自然的方式。例如，您可能会忽略最后一个组件，从而使您的算法对输入图像的光照条件不太敏感。

YCrCb 被流行的 JPEG 图像格式使用。

CIE L*a*b* 是一个感知均匀的颜色空间，如果您需要测量给定颜色与另一种颜色的距离，它会派上用场。

每个构建组件都有自己的有效域。这导致使用的数据类型。我们如何存储组件定义了我们对其域的控制。可能的最小数据类型是 char，即 1 个字节或 8 位。这可能是无符号的（因此可以存储从 0 到 255 的值）或有符号的（从 -127 到 +127 的值）。虽然这个宽度，在三个分量（如 RGB）的情况下，已经提供了 1600 万种可能的颜色来表示，但我们可以通过使用浮点数（4 字节 = 32 位）或双精度（8 字节 = 64 位）获得更精细的控制 ) 每个组件的数据类型。尽管如此，请记住增加组件的大小也会增加内存中整个图片的大小。

Creating a Mat object explicitly

在加载、修改和保存图像教程中，您已经学习了如何使用 cv::imwrite() 函数将矩阵写入图像文件。但是，出于调试目的，查看实际值要方便得多。您可以使用 Mat 的 << 运算符来执行此操作。请注意，这只适用于二维矩阵。

虽然 Mat 作为一个图像容器非常好用，但它也是一个通用的矩阵类。因此，可以创建和操作多维矩阵。您可以通过多种方式创建 Mat 对象：

cv::Mat::Mat Constructor

Mat M(2,2, CV_8UC3, Scalar(0,0,255));

cout << "M = " << endl << " " << M << endl << endl;

对于二维和多通道图像，我们首先定义它们的大小：行数和列数。

然后我们需要指定用于存储元素的数据类型和每个矩阵点的通道数。为此，我们根据以下约定构建了多个定义：

CV_[The number of bits per item][Signed or Unsigned][Type Prefix]C[The channel number]

CV_[每项的位数][有符号或无符号][类型前缀]C[通道号]

例如，CV_8UC3 意味着我们使用 8 位长的 unsigned char 类型，每个像素具有其中的三个以形成三个通道。最多为四个通道预定义了类型。 cv::Scalar 是四元素短向量。指定它，您可以使用自定义值初始化所有矩阵点。如果您需要更多，您可以使用上面的宏创建类型，在括号中设置通道号，如下所示。

使用 C/C++ 数组并通过构造函数进行初始化

int sz[3] = {2,2,2};

Mat L(3,sz, CV_8UC(1), Scalar::all(0));

上面的例子展示了如何创建一个多于二维的矩阵。指定其维度，然后传递一个包含每个维度大小的指针，其余部分保持不变。

cv::Mat::create function:

M.create(4,4, CV_8UC(2));

cout << "M = "<< endl << " " << M << endl << endl;