OpenCV入门及应用案例：手把手教你做DNN图像分类

导读：本文将介绍OpenCV的源码结构、OpenCV深度学习应用的典型流程，以及深度学习和OpenCV DNN（Deep Neural Networks，深度神经网络）模块的背景知识，让读者可以快速认识OpenCV，消除神秘感，同时对计算机视觉从传统算法到深度学习算法的演进历史有所了解。

作者：吴至文 郭叶军 宗炜 李鹏 赵娟

来源：大数据DT（ID：hzdashuju）

OpenCV是一个计算机视觉开源库，提供了处理图像和视频的能力。OpenCV的影响力非常大，有超过47 000的社区用户，以及超过1400万次的下载量。其应用领域横跨图像处理、交互式艺术、视频监督、地图拼接和高级机器人等。作为一个有十几年历史的开源项目，OpenCV拥有广大的用户群体和开发者群体。

在数字的世界中，一幅图像由多个点（像素）组成。图像处理就是对其中一个像素或者一个区域内的像素（块）进行处理。无论是初学者还是富有经验的研发人员，他们都需要借助软件工具来分析这些像素和图像块，OpenCV则是其中最常用、最重要的一个软件工具。

OpenCV成为最主要的图像处理工具包，是因为它功能齐全，支持目前主流的图像、视频处理算法，而且对外提供C++、Python和Java的接口，用户调用方便。本书的代码分析、示例程序及环境搭建基于OpenCV 4.1版本，源代码位于GitHub的OpenCV仓库。

01 OpenCV库

OpenCV由各种不同组件组成。OpenCV源代码主要由OpenCV core（核心库）、opencv_contrib和opencv_extra等子仓库组成。近些年，OpenCV的主仓库增加了深度学习相关的子仓库：OpenVINO（即DLDT, Deep Learning Deployment Toolkit）、open_model_zoo，以及标注工具CVAT等。

下面分别介绍3个主要的代码库：OpenCV core、opencv_contrib、opencv_extra。

1. 核心库OpenCV core

核心库是OpenCV的主要算法来源。OpenCV采用模块化结构设计，包含了多个共享或者静态库。目前OpenCV核心库提供了很多组件，如下所示。

• 核心功能模块：这是一个小巧而高效的模块，定义了基础的数据结构，包含紧密多尺度向量矩阵和一些供其他模块使用的基础函数

• 图像处理模块：它包括了线性和非线性的图像滤波、几何图像变换（图像缩放、仿射变换、透视矫正、通用的基于表格的像素映射）、色域变换及直方图生成与分析等

• 视频：这是一个视频分析模块，包含运动检测、背景减除和对象追踪等算法

• calib3d：包含基础的多视角几何算法、单个和立体相机标定算法、对象姿势预测算法、立体一致性算法，以及3D元素重建

• Features2d：图像显著特征检测、特征点描述和匹配

• Objdetect：对象检测和预先定义的类别检测（如脸、眼、杯子、人、车等）

• Highgui：提供了比较容易使用的UI接口

• Video I/O：提供了基本的视频存取访问和编解码功能

• GPU：为不同的OpenCV算法模块提供GPU加速算法

• 其他：如FLANN和Google测试封装层、Python绑定等

2. opencv_contrib

opencv_contrib代码库主要用于管理新功能模块的开发。该库的设计主要基于以下考虑：处于初始开发阶段的功能模块，它的API定义会经常变化，各种测试也不够全面。

为了不影响OpenCV核心模块的稳定性，这些新功能模块会发布到opencv_contrib中。等到模块足够成熟并且在社区得到了足够的关注和使用之后，这个模块便会被移到OpenCV核心库，这意味着核心库开发团队将会对该模块进行全面的测试，保证这个模块具有产品级的质量。