基于轮廓系数的视觉元素识别

研究论文

罗伟*基于轮廓系数和图像处理技术的视觉元素识别

https://doi.org/10.1515/pjbr-2022-0120 收稿日期：2023年5月8日；接受日期：2023年6月15日

摘要

提出了一种基于轮廓系数和图像处理技术的方法，以更好地识别视觉元素。本文以图像的轮廓作为识别特征，总结了目标轮廓特征提取、轮廓形状表示和相似性表示的方法，并研究了轮廓边缘保持与去噪、轮廓特征简化与描述方法以及轮廓匹配方法。该问题通常可以通过填写表格来解决。一般给出一个简单的迭代方程，用以表达当前表与计算表值之间的直接关系。利用内部距离形状上下文、多尺度凸性凸性以及三角形面积表示的动态规划算法，寻找最佳序列对应关系。

关键词 ：目标识别，图像平滑，轮廓描述，特征匹配，自然图像

1 引言

图像目标识别是视觉识别的研究领域之一，已广泛应用于视频监控、交通、运动识别等领域。根据提取的目标对象特征，目标识别方法可分为基于模型、基于区域和基于轮廓的方法。基于区域的方法通常使用颜色和纹理特征来表示区域，能够抵抗区域大小、平移和旋转的变化。然而，由于这些特征未包含图像像素之间的空间位置特性，因此无法有效进行图像识别。此外，对于基于轮廓的方法，由于受到多种因素的影响，在图像采集过程中，由于光照变化、形状和噪声等因素，形状轮廓的完整性无法得到保证。因此，使用该方法进行物体识别也可能导致多种错误。

对于计算机而言，基于轮廓的识别方法不仅大大简化了识别过程，而且具有较高的识别速度和准确性。目前，基于轮廓的图像识别方法已取得诸多成果。一般来说，基于轮廓的图像识别方法主要包括两种主要方法：基于图像区域的识别和基于图像边界的识别。与基于图像区域的识别方法相比，基于图像边界的识别方法能够更有效地把握图像的轮廓和形状，并适用于傅里叶技术、曲率计算、小波分析和多尺度分形等更多数学工具来定量描述图像的轮廓和形状。

然而，值得注意的是，基于图像边界的识别方法通常将图像形状轮廓视为一系列连续点集序列。轮廓点集中各点的相关性和顺序直接影响图像轮廓形状的建模与识别。当面部图像等图像的轮廓形状随着表情、光照强度、遮挡等因素发生变化时，面部图像中轮廓点集的点之间的相关性和顺序会被打乱，从而增加提取准确轮廓形状的难度。因此，该方法的有效性会降低。因此，有必要建立一种对相关性和顺序依赖较少或不依赖的定量方法，用于分析人脸等图像的边界形状。

随着计算机技术和人工智能的不断发展，产生了大量信息，使人们的生活方式变得越来越丰富多彩。这些信息包括文本、图像、音频和视频[1]，在日常生活、工业应用和军事领域中发挥着重要作用。在上述科学技术发展过程中，机器视觉是获取外部信息的重要媒介。因此，机器视觉受到了研究人员广泛而深入的研究。人类主要通过视觉、听觉、触觉、嗅觉等感觉器官获取信息。科学研究表明，视觉信息占绝大多数，图像是视觉从外部世界获取信息的主要途径。通过图像获取的信息量占75%[2]。

作为传递视觉信息的重要载体，图像信息内容丰富，具有直观、具体、高效的特点，广泛应用于军事目标侦察、交通部门的道路监控、公安部门的现场照片及指纹处理与识别、遥感图像识别、生物医学图像识别、通信领域的图像传输、视频会议以及机器视觉中的图像理解与识别等领域。

图像识别技术使用计算机处理、分析和理解图像，以识别不同的目标和物体。随着科学技术信息和数学分析方法的不断发展，图像识别技术已应用于人工智能领域，其分析方法也不断改进和发展，模拟人类视觉感知。目前，图像识别技术的应用范围已不仅局限于视觉领域，而是越来越多地体现出数字技术和机器智能的特征。近年来，基于轮廓的目标识别方法已应用于多个领域，如车牌光学字符识别、机械设备叶片的自动测量、汽车制动盘螺纹孔的定位与匹配、医学图像分割、零部件自动缺陷检测以及机器人视觉导航[3]。这表明基于轮廓的目标识别研究具有广阔的应用前景。

2 文献综述

关于轮廓视觉特征的研究。在提取自然图像中显著目标的轮廓时，常常受到图像背景和噪声等因素的干扰，导致轮廓不连续和冗余。学者们提出了一系列改进的轮廓边缘检测算法。基于灰度直方图阈值的图像边缘检测是最常用且最简单的边缘检测方法。该方法的检测精度与阈值的选择相关，而灰度直方图通常较为粗糙，特别是当图像在生成过程中受到噪声影响时，和传输；该算法获得的图像边缘更加不稳定。

熊等人提出了一种基于服装对象图轮廓的识别方法，该方法从服装图像样本库中提取服装轮廓，然后利用傅里叶描述符描述服装的轮廓特征，并采用多分类支持向量机对服装款式进行分类[4]。轮廓曲率特征点法的特征向量维度较低，但其抗噪性能较差，忽略了过多的局部信息，且识别率不高。李等人提出了一种基于服装对象图轮廓曲率特征点的服装款式识别方法，即通过曲率计算获取表征服装轮廓形状的特征点，然后选择支持向量机作为分类方法进行分类与识别分类识别[5]。

使用傅里叶描述符提取特征能够刻画服装轮廓信息，但特征提取算法较为简单，当样本复杂度增加时，其表达能力会在一定程度上下降。卢等人首先利用边缘检测和形态学操作提取服装对象图的服装轮廓，然后使用轮廓检测算法获取外轮廓，最后分析局部HOG（方向梯度直方图）特征，并结合关键尺寸的计算，对服装款式进行分类。该方法表达能力有限，依赖于外接矩形的面积，且算法复杂，通用性差[6]。

杜等人以领子为例，首先建立x轴和x‐轴和y轴坐标系，然后确定款式图中所有几何元素与x轴和y轴的交点，并最终根据所有交点的确定款式图中领座高度、领面宽度、领前造型线和领前造型线角度这四个特征参数X和Y值[7]。李等人以平面衬衫款式图为研究对象，采用二维视图特征自动识别特征参数，提出了一种确定款式图并提取特征信息的算法[8]。首先通过虚线将各个图形块分离并离散化，然后提取并存储款式图各部件中的所有参数信息，再根据部件区域中包含的实体特征确定各部件的关键尺寸。该算法需要遍历所有关键点以获取坐标值，识别典型结构特征，并提取部分结构参数。此外，若灰度目标与图像背景之间的差异较小时，该方法无法获得良好的阈值来将目标从图像背景中分割出来。

基于微分算子的边缘检测利用图像梯度进行边缘检测。当图像边缘灰度值的过渡较为尖锐且噪声相对较小时，梯度微分算子的检测效果较好。常见的算子包括Roberts、Prewitt、Sobel和Canny算子。Canny算子具有良好的边缘检测效果，被认为是最成功的边缘检测算子。然而，该算子中的高斯滤波部分对脉冲噪声的抑制效果较差，导致部分脉冲噪声容易被误检为边缘。此外，Canny算子在使用双阈值法提取图像边缘时，需要手动设置阈值，自适应能力较差。

本文重点研究图像轮廓特征描述与匹配识别。通过研究目标轮廓特征提取、轮廓形状表示和相似性表示的方法，一定程度上解决了基于图像轮廓的目标识别中的若干关键问题。因此，基于现有研究，本文提出了一种基于轮廓系数和图像处理技术的视觉元素识别方法。针对图像轮廓形状的识别方法，在以下三个方面进行了改进：第一，尝试通过从图像中提取不精确的轮廓点来减少构建复杂网络的规模；第二，通过调整建模参数设置来改进复杂网络模型的建立；第三，对同一图像同时使用多组阈值参数构建多个复杂网络模型，并汇总识别参数，从而有效减少所需调整的阈值参数数量。该改进方法在形状轮廓识别中具有较高的识别率，且在灰度图像识别中具有存储空间占用小、运行时间短、需调整的阈值参数少等优点。

3 分析

随着数字多媒体信息技术的快速发展，基于轮廓的目标识别已成为机器视觉领域的研究热点。基于轮廓特征的目标识别研究主要包括三个方面：图像轮廓提取、轮廓特征描述和轮廓匹配。

3.1 图像轮廓提取研究现状

在提取自然图像中显著目标的轮廓时，常常受到图像背景、噪声等因素的干扰，导致提取出的轮廓不连续且冗余。学者们提出了一系列改进的轮廓边缘检测算法[9,10]。

基于灰度直方图阈值的图像边缘检测是最常见且最简单的边缘检测方法之一。该方法的检测精度与阈值的选择有关，而灰度直方图通常较为粗糙，尤其是在图像生成和传输过程中受到噪声影响时，该算法获得的图像边缘更为不稳定。此外，若图像中目标与背景之间的灰度值差异较小，则该方法无法获得良好的阈值来将目标从图像背景中分离出来[11]。

基于微分算子的边缘检测利用图像梯度进行边缘检测。当图像边缘的灰度值变化剧烈且噪声较小时，梯度微分算子具有较好的效果。常见的有Roberts、Prewitt、Sobel和Canny算子[12–14]。其中，Canny算子具有较好的边缘检测效果，被认为是最成功的边缘检测算子。

但该算子中的高斯滤波部分对脉冲噪声抑制效果较差，使得部分脉冲噪声容易被误检为边缘。此外，在使用双阈值法提取图像边缘时，需要手动设置阈值，自适应能力较差。

基于小波变换的图像边缘检测：经过小波变换后，利用边缘等奇异点的小波系数幅值较大，而平稳区域的小波系数幅值较小的特征来提取图像边缘。因此，图像的边缘点可通过对应位置较大的小波系数表示，并在去噪过程中保留这些边缘点，以实现边缘保持和去噪的目的[15]。然而，传统的低通滤波方法在降低噪声的同时会使图像边缘模糊，无法反映图像边缘的真实情况。

除了上述对自然图像进行直接边缘检测的方法外，还有对自然图像进行预处理并检测的方法。其中，图像滤波和去噪是一种常用的预处理方法。图像滤波即抑制在尽可能保留图像细节特征的前提下，对目标图像的噪声进行处理，是图像预处理中不可或缺的操作。其处理效果将直接影响后续图像处理与分析的有效性和可靠性，例如高斯滤波和双边滤波。然而，上述方法均无法很好地获取图像中显著目标的边缘，且提取的轮廓通常包含较多的噪声干扰，不利于目标识别。因此，本文提出一种新的轮廓提取算法：首先对自然图像进行平滑处理，然后提取轮廓。平滑算法的质量直接影响最终的轮廓提取效果[16]。

3.2 轮廓描述研究现状

基于轮廓特征的目标识别的关键在于构建具有丰富轮廓特征信息且具备旋转、平移和尺度不变性的轮廓描述符[17]。因此，研究机构和学者们基于形状的轮廓构造了不同的具有变换不变性的特征描述符，这些描述符广泛应用于图像与视频匹配、目标识别、机器人导航、深度学习、场景分类、图像分割以及其他计算机视觉领域。

在各个领域中，轮廓特征描述的目的是提取形状的视觉特征，并以某种数学表达式将其存储为向量或矩阵，以便于计算机的理解和存储[18]。一个好的轮廓描述符应具备以下特性：高检索精度、紧凑特征、广泛的应用范围、低计算复杂度以及强鲁棒性。

高检索精度要求轮廓描述方法能够在数据库中找到与目标轮廓最相似的模板图像，并且该描述方法能够在旋转、尺度、平移和仿射变换后保持轮廓特征的不变性。特征紧凑性要求描述算法尽可能选择最具代表性的轮廓特征，以避免大量特征混杂[19]。低计算复杂度是为了节省计算时间，同时也意味着计算过程中应减少不确定性和特殊约束，从而增强描述方法的鲁棒性。

基于轮廓的特征描述方法有许多分类方法，可划分为四类，如图2所示。

3.2.1 基于轮廓点空间位置关系的方法

这类方法通过统计轮廓序列上点的空间位置分布关系来描述形状，并取得了良好的描述效果[20]。其中最具代表性的方法是形状上下文（SC）描述方法，该方法通过某一点与其他轮廓点构成的线段向量集来刻画轮廓上某一点的空间位置分布。它采用对数极坐标系将向量集离散化，得到一个统计直方图作为轮廓点的特征描述符。

该方法对目标轮廓具有较强的描述能力，但存在抑制噪声能力弱、算法复杂度高以及无法获取轮廓点序列信息等问题。在SC基础上提出了内部距离形状上下文（IDSC），该方法将SC中轮廓点之间的欧氏距离替换为轮廓点之间的内部距离[21]。该方法对非刚性关节物体具有良好的描述效果，但对于类内信息复杂的物体，其目标识别准确性不高，且算法复杂度较高。通过利用空间关系可获得一组称为距离集的局部描述符。该描述符以轮廓序列上的一个点及其邻近轮廓点作为该点的描述特征。

3.2.2 变换域方法

该方法将轮廓的空间域信息转换到频域或时频域，并在变换后的空间中构建轮廓的描述符。例如，基于傅里叶变换的描述符以傅里叶系数的相位作为形状的描述信息。最大似然小波密度估计被用来表示图像和形状。

3.2.3 多尺度方法

多尺度描述符主要利用平面曲线的凹–凸特征，这是人类视觉识别的重要依据。该方法对局部变形目标具有较高的识别精度和较强的鲁棒性，但计算复杂度较高[22]。许多学者提出了基于多尺度形状的不同描述方法，其中具有代表性的包括曲率尺度空间（CSS）、多尺度凸性表示（MCC）和三角形面积表示（TAR）。

CSS描述符将形状的弧长参数与一维高斯核进行卷积。核函数的窗口宽度越宽，形状轮廓就越平滑，并且轮廓上曲率为零的交点数量会持续减少，直到轮廓变为凸形。通过这种方式，可以获得轮廓的曲率尺度空间图（曲率尺度空间图），然后使用最大曲率尺度空间轮廓作为每个形状[23]的描述符。

MCC描述符与CSS类似，它同样将形状的弧长参数与一维高斯核进行卷积以简化轮廓。不同之处在于，该方法利用轮廓上某一点在两个相邻尺度间的欧氏距离来度量形状的凸性。

TAR描述符则利用有符号三角形面积来定义轮廓点的凹凸特性，通过由轮廓点构成的三角形面积来描述形状，并通过控制三角形的边长获取形状的多尺度信息。该方法能够有效获取形状的局部和全局特征，但算法需要不断改变边长，特征提取较为复杂，且对变形点敏感[24]。

3.2.4 基于轮廓区域的方法

该方法从闭合轮廓曲线内部的像素中提取一些形状特征。该方法适用于具有内部轮廓或轮廓曲线复杂内部结构的形状描述。如果通过求解泊松方程来描述形状，则该方法首先为轮廓内部的每个点赋予一个值，该值定义为从该点出发使用随机行走方法到达边界点所需的平均时间。该值可通过求解以轮廓作为边界判断条件的泊松方程得到。

该方法能有效提取不同的形状属性，包括局部结构、局部方向、粗骨架、轮廓的凸凹部分等。提出了一种基于形状内部信息的SC形状描述方法[25]。该方法定义了两类点：密集点和稀疏点。首先，使用Delaunay三角剖分方法将形状划分为许多小三角形，并在小三角形内均匀散布点，这些点为密集点。形状凸包边界的轮廓点为稀疏点。然后，计算从一个稀疏点到各个密集点的SC作为该点的描述符。该方法能够解决形状类别差异较大的轮廓识别问题。

然而，现有的轮廓特征描述方法存在特征描述不完整、特征获取复杂度高以及抗噪能力普遍不足的问题。因此，本文提出了一种基于轮廓点空间位置关系的同底三角形面积表示描述方法及DCE轮廓简化算法。此外，针对上述特征描述方法在目标被遮挡时无法使用的情况，提出了一种用于不完整轮廓匹配识别的弦角特征描述方法。

3.3 相似性度量与匹配的研究现状

获得轮廓的特征描述后，需考虑如何利用该描述来度量两个形状之间的距离或差异性。通常需要解决两个问题：（i）如何度量两个轮廓点描述符之间的距离；（ii）如何获取两个轮廓点序列之间的最优对应关系。

轮廓上点的描述符通常是一组向量，因此计算两个描述符之间的距离可转化为计算多维空间中两个向量之间的距离。常用的计算向量差异的距离包括欧氏距离、曼哈顿距离、切比雪夫距离等。

欧氏距离是表示两点或多点之间距离最常用的方法，也称为2‐范数距离。两个n维向量 $ X = (x_1, x_2, …, x_n) $ 和 $ Y = (y_1, y_2, …, y_n) $ 之间的欧氏距离定义为：
$$
d(X,Y) = \left( \sum_{i=1}^{n} (x_i - y_i)^2 \right)^{1/2}
$$

曼哈顿距离，也称为1‐范数距离或L1距离，定义为欧氏空间中固定直角坐标系下两点所连线段在各坐标轴上投影距离的总和：
$$
d(X,Y) = \sum_{i=1}^{n} |x_i - y_i|
$$

切比雪夫距离源于国际象棋中王的移动方式，向量X与Y之间的切比雪夫距离定义为X和Y各维度差值绝对值的最大值：
$$
d(X,Y) = \max_i |x_i - y_i|
$$

SC和IDSC算法使用卡方统计距离来度量两个轮廓上对应点之间的相似性（描述符距离）。MCC和TAR算法中每个点描述符之间的相似性通过加权1‐范数距离进行度量。

在获得描述符之间的距离后，如何计算两个轮廓上对应点之间的形状相似性成为一个困难的问题。轮廓点顺序的对应关系影响形状匹配的准确性。常用的方法包括基于薄板样条插值的鲁棒点匹配方法（TPS-RPM）和动态规划（DP）算法。

TPS算法是一种插值方法，最初用于生成平滑的函数映射。它通过所有控制点寻找一个具有最小弯曲能量的平滑曲面，并通过能量函数确定最小弯曲能量。TPS-RPM扩展了TPS，采用迭代优化来解决点对应问题。其损失函数定义为一个形状上的点与另一个经过变换的形状上对应点之间的欧氏距离之和。该方法不需要点集之间有任何特殊的空间对应关系。SC算法采用TPS-RPM形状匹配方法来校正轮廓对应关系，提高目标识别的准确性[27]。

DP算法的基本思想是将一个复杂问题转化为同一类型的更易求解的子问题。对于形状序列匹配，DP算法的主要目的是获得两个形状轮廓点索引的最佳映射。该问题通常通过填表的方式解决。一般给出一个简单的迭代方程，表示当前表格值与已计算表格值之间的直接关系。IDSC、MCC和TAR所采用的DP算法用于寻找最佳序列对应关系，取得了良好的轮廓匹配效果。

3.4 轮廓系数特征提取

轮廓是人类捕捉物体外观和形态的第一个元素。作为图像可视化的重要组成部分，轮廓不会随环境变化而改变，是物体的固有特征，极大地加深了人类对整体的理解和认知。轮廓是一种重要的视觉特征，用于描述服装的外部形状。轮廓特征从图像中的目标边界或内部感兴趣区域提取特征。常见的轮廓特征描述方法包括基于轮廓的特征描述、基于区域的特征描述以及其他轮廓分析方法。

3.4.1 基于轮廓的特征描述

基于轮廓的特征描述符仅使用形状的边界信息来描述图像中的对象边界。对边界形状的描述可用于查询具有相似边界的对象。描述物体图像轮廓的方法有很多，例如基于傅里叶变换的轮廓描述符、基于小波变换的轮廓描述符、基于CSS的边界描述符以及其他数学形态学方法。

3.4.2 基于区域的特征描述

基于区域的描述方法通过考虑图像中形状区域内的所有像素来获取形状表示，测量形状区域的像素分布，而不仅仅是使用图像的边界轮廓信息。通常使用矩描述符来描述形状，其他方法包括几何矩、形状矩阵方法等。

3.4.3 其他轮廓分析方法

之前的轮廓表示方法主要集中在设计对轮廓的旋转、缩放和变形具有鲁棒性的低层轮廓描述符。然而，传统轮廓描述方法操作过程复杂，需要耗费大量时间和精力。

国内外专家和学者在现有轮廓描述方法的基础上进行创新，提出了一种结合基于轮廓和基于区域的特征描述符的方法。此外，还包括利用计算机编程软件进行程序设计以提取轮廓特征的方法，以及结合机器学习顺应时代潮流进行特征提取的方法。

4 结论

图像目标识别是计算机视觉的重要组成部分，在军事、工业和民用领域具有重要的应用前景。由于目标的轮廓特征比其颜色、纹理等其他特征更具鲁棒性，基于目标轮廓特征的方法已成为识别方法的主流，并已广泛应用于基于内容的图像检索、目标识别、机器人导航等领域。本研究的结果可为大规模采集以及视觉效果的自动化评估、跟踪和流行趋势预测提供理论基础和实践平台。

然而，应当承认，本研究提出的思想、方法、算法及实现的系统仍存在一些局限性和不足，尚有许多工作需要进一步解决和完善。

资助信息 ：本研究未以任何形式获得任何资金支持。
作者贡献 ：作者对本稿件作出了重要的个人贡献。郝丽霞：撰写和实施手术；数据分析和实施手术；文章审阅和文章的智力构思。
利益冲突 ：作者声明不存在竞争利益。
知情同意 ：已从本研究中所有参与者处获得知情同意。
伦理批准 ：所进行的研究与人类或动物使用无关。
数据可得性声明 ：本研究期间生成和/或分析的数据集可向通讯作者在合理要求下获取。