43、车牌识别与乳腺图像边缘检测技术研究

车牌识别与乳腺图像边缘检测技术研究

车牌识别技术

车牌识别管道的检测与OCR方法

在车牌识别领域，主要目标是评估时间信息（特别是视频帧的组合）在车牌识别管道中的影响。为实现这一目标，在管道的每个步骤采用了不同技术，包括图像预处理方法、车牌检测器和OCR算法。

所使用的模型和算法

• 车牌检测器 ：采用基于深度学习的检测器Yolov3和MobileNetSSD模型。对于MobileNetSSD，使用OpenVino ModelZoo提供的预训练模型，称为OpenVino - MobileSSD。还利用了一个预先存在的私有训练的Yolo3模型来创建古巴车牌检测器。
• OCR算法 ：使用了PaddleOCR和Tesseract两种OCR检测器。

生成的车牌识别管道

管道名称	具体操作
Affine - MobileSSD - Paddle	用OpenVino - MobileSSD模型检测车牌，从预测的边界框中提取车牌边界，应用仿射变换去除因视角导致的图像畸变，最后用Paddle OCR算法进行光学字符识别。
Affine - Smooth - MobileSSD - Paddle	与Affine - MobileSSD - Paddle类似，在执行OCR之前增加预处理步骤，包括灰度变换和高斯滤波，以提高图像清晰度和质量。
Smooth - MobileSSD - Tesseract	对OpenVino - MobileSSD检测到的车牌图像进行灰度变换和高斯滤波，然后运行Tesseract OCR。
Equalized - MobileSSD - Tesseract	对OpenVino - MobileSSD检测到的车牌图像进行直方图均衡化，然后运行Tesseract OCR。
Yolov - Paddle	使用Yolov3车牌检测器，检测到车牌后直接对提取的边界框应用Paddle OCR算法，无额外预处理步骤。
MobileSSD - Paddle	直接对OpenVino检测器检测到的车牌应用Paddle OCR算法。

视频帧组合策略

对于每个汽车序列，会得到一系列识别出的车牌及其置信度。基于此，测试了多种视频帧组合策略：
1. 最大置信度（max - conf） ：选择置信度最高的车牌作为最终结果。若多个车牌置信度相同，则随机选择一个输出。
2. 多数投票（max - total - vote） ：每个检测到的车牌贡献一票，得票最多的车牌作为最终结果。
3. 加权多数投票（max - w - total - vote） ：每个检测到的车牌贡献的票数等于其置信度得分，总票数最高的车牌作为最终结果。
4. 平均加权多数投票（max - w - avg - vote） ：每个检测到的车牌贡献的票数等于其置信度得分，平均票数最高的车牌作为最终结果。

同时，针对每种策略，还测试了仅考虑具有有效车牌模式的候选车牌的变体，在策略名称后添加“ - valid”来表示这种修改。例如，古巴车牌的有效模式是一个字母后跟六个数字。

提出的基于字符的组合策略

为从一系列推断的车牌值中获得最终车牌，提出了一种算法，其步骤如下：
1. 清理输入车牌 ：将所有非字母数字字符替换为下划线，确保格式一致并去除不需要的字符。
2. 计算加权编辑距离 ：计算每个车牌之间的总加权编辑距离，以便在下一步中识别与集合中其他车牌最相似的车牌。这一步需要确定字符插入、删除和替换的具体成本，通过从数据集中不存在的图像中获取的（真实车牌，推断车牌）对来计算字符插入、删除和替换的概率，然后取其倒数得到成本。
3. 选择最相似车牌 ：根据步骤2的结果，选择与其他车牌最相似的车牌。
4. 对齐所有车牌 ：使用Ratcliff/Obershelp算法将所有车牌与步骤3中选择的车牌对齐，该算法通过逐行比较输入序列，找出最长的连续匹配子序列，从而确定需要添加、删除或替换的子序列，以实现字符的一致定位。
5. 整合对齐的车牌 ：确定每个位置最可能的字符，考虑该位置每个候选字符的重复次数以及步骤2中计算的候选字符对之间的替换概率。

mermaid格式流程图如下：

graph LR
    A[清理输入车牌] --> B[计算加权编辑距离]
    B --> C[选择最相似车牌]
    C --> D[对齐所有车牌]
    D --> E[整合对齐的车牌]

乳腺图像边缘检测技术

乳腺图像的重要性及处理需求

乳腺钼靶图像对比度低，背景结构复杂且通常含有噪声。它是早期检测乳腺癌的重要非侵入性检查手段，但由于其图像特点，需要开发能够提高图像质量的算法，以便专家进行准确诊断。图像平滑是图像处理中常见的任务，目标是去除图像中的噪声，同时保留定义物体边界的边缘，这对于边缘检测和图像分割尤为重要。

基于Perona - Malik模型的图像平滑方法

在基于偏微分方程（PDE）的图像平滑方法中，Perona和Malik提出了一种基于非线性扩散的算法，克服了线性扩散的缺点，如模糊或移位图像中的边缘。非线性各向异性扩散是一种保留边缘位置的图像平滑方法，通过一个具有可变扩散系数的非线性PDE来建模扩散过程，扩散系数$c(x, y, t) = g(|\nabla I(x, y, t)|)$是像素强度函数梯度$\nabla I(x, y, t)$的函数。

不同的扩散系数表达式被提出以实现更好的边缘保留性能，所有表达式都依赖于一个参数$k$，即对比度或梯度阈值参数，它对边缘保留有很大影响。然而，很少有研究关注估计这个对比度参数$k$。简单的方法是使用常数$k$，但缺点是每次迭代的平滑强度相同。也有一些方法在每次迭代中减小$k$以保持$|\nabla I|> k$的条件来保留边缘。

提出的AD - KMLS2算法

提出了一种名为AD - KMLS2的算法来估计扩散系数的梯度阈值，该算法针对乳腺图像进行了定制。将其与其他两种已知的梯度阈值参数估计方法进行比较，在使用两种质量度量（Pratt的优值和均方根误差）评估时，对于45%的分析图像，AD - KMLS2的结果更好。在未达到最佳结果的情况下，与最佳结果在使用的指标上相差仅$5 × 10^{-5}$。在这项工作中，使用简单线性迭代聚类（SLIC）超像素分割技术按区域执行各向异性扩散平滑过程。

方法	特点
常数$k$方法	每次迭代平滑强度相同，缺点明显。
迭代减小$k$方法	保持$|\nabla I|> k$条件保留边缘，但研究较少。
KMLS方法	基于分区和调整估计$k$，使用K - means算法对像素进行分区，通过最小二乘法曲线拟合获得$k$值，但对包括乳腺图像在内的某些类型图像表现不佳。
AD - KMLS2方法	针对乳腺图像定制，在部分图像上表现优于其他方法。

mermaid格式流程图如下：

graph LR
    A[获取乳腺图像] --> B[使用SLIC算法分区]
    B --> C[选择梯度阈值估计方法]
    C --> D{是否为AD - KMLS2}
    D -- 是 --> E[使用AD - KMLS2估计梯度阈值]
    D -- 否 --> F[使用其他方法估计梯度阈值]
    E --> G[执行各向异性扩散平滑]
    F --> G
    G --> H[输出处理后的图像]

实验部分

古巴车牌数据集

实验的第一步是在停车场的关键位置战略性地放置摄像头，以捕捉车辆进出的视频。摄像头的位置经过精心考虑，以确保能够清晰地拍摄到车牌。录制的视频分辨率为944×1080，捕捉了车辆接近缴费区域、停车或减速缴费以及继续驶向出口的过程，这涵盖了各种不同角度、距离和光照条件下的车牌图像。以每秒25帧的速率从输入视频中提取帧。

接下来，使用OpenVINO Model Zoo中的预训练车辆检测模型来定位车辆。该算法能够准确识别捕获视频中车辆的边界。为了跟踪车辆检测结果，实现了一个基本的交并比跟踪器，从而为每辆经过的汽车提取精确的边界框。

最终得到的数据集包含1528个序列，涉及1414辆不同的汽车。每个序列的图像数量从57到2223不等，平均为408张。为了模拟实际部署系统的情况，没有进行帧选择。数据集中单个汽车图像的宽度范围为85到530像素，平均宽度为297像素；高度范围为200到959像素，平均高度为524像素。

实验结果

对前面介绍的6种车牌识别管道与8种视频帧组合策略（4种不使用有效车牌，4种选择有效车牌）以及提出的基于字符的组合策略（使用和不使用有效车牌选择）进行了实验。整体结果如图所示，x轴表示6种管道，对于每种管道，有10个条形图显示了每种帧组合策略的准确率。

从结果中可以看出，最佳的管道是Yolov3 - Paddle和MobileSSD - Paddle。在每种管道中，选择有效车牌在大多数情况下能显著提高结果。提出的组合策略在使用和不使用有效车牌选择的情况下都表现出优越性，并且这两种情况下的结果非常相似，这表明该策略对缺失和噪声信息具有很强的鲁棒性。

为了更详细地展示结果，下面的表格列出了部分结果，仅显示最佳的时间组合策略。表格中还包含了标记为“Ideal ”的行，它表示在假设序列中至少有一帧正确预测了车牌的情况下，每种管道可能达到的最佳准确率。需要注意的是，基于字符的组合方法可能会比“Ideal ”取得更好的结果，因为对于给定的序列，字符组合可能会输出在任何一帧中都未完全预测的正确车牌。

策略	Affine - MobileSSD - Paddle	Affine - Smooth - MobileSSD - Paddle	Smooth - MobileSSD - Tesseract	Yolov3 - Paddle	Equalized - MobileSSD - Tesseract	MobileSSD - Paddle
Ideal*	63.96	31.19	69.91	93.04	58.18	90.66
max - conf - valid	61.26	27.52	60.18	86.61	52.73	85.69
max - total - vote - valid	61.26	29.36	62.83	88.54	55.45	85.48
max - w - total - vote - valid	61.26	29.36	61.06	89.13	54.55	86.90
proposal	63.06	26.61	63.72	88.20	57.27	87.57
proposal - valid	62.16	31.19	63.72	89.07	50.91	87.03

从表格中可以看出，提出的组合策略在大多数情况下始终优于其他方法。而大多数现有工作采用的多数投票作为帧组合策略（max - total - vote - valid）在所有管道中都被提出的策略超越。

mermaid格式流程图如下：

graph LR
    A[选择车牌识别管道] --> B[选择帧组合策略]
    B --> C[进行车牌识别实验]
    C --> D[评估准确率]
    D --> E{是否为最佳策略}
    E -- 是 --> F[输出最佳结果]
    E -- 否 --> B

结论

车牌识别和乳腺图像边缘检测在实际应用中都具有重要意义。在车牌识别方面，研究突出了时间信息在增强车牌识别管道性能中的重要作用。通过组合视频帧，系统的准确性和鲁棒性得到了提高。同时，研究还展示了管道中各个组件（如图像预处理技术、车牌检测器和OCR算法）的影响，精心选择和优化这些组件对于实现最佳结果至关重要。使用先进的OCR检测器PaddleOCR和Tesseract有助于实现准确可靠的车牌识别。提出的基于字符的帧组合策略在基于整个车牌分析的其他方法中表现更优。对6种车牌识别管道和10种帧组合策略的研究可以为该领域的未来改进和优化提供指导，也有助于增强车牌识别在交通管理、停车系统和执法等领域的应用。

在乳腺图像边缘检测方面，提出的AD - KMLS2算法为乳腺图像的梯度阈值估计提供了一种有效的方法，在部分图像上表现优于其他方法，有助于提高乳腺图像的质量，为专家的准确诊断提供支持。通过结合SLIC超像素分割技术按区域执行各向异性扩散平滑过程，能够更好地考虑图像的局部特征，从而更有效地保留边缘信息。

总的来说，这些研究成果为车牌识别和乳腺图像边缘检测领域的发展提供了有价值的参考，有望在实际应用中发挥重要作用。

以下是一个总结两种技术关键要点的表格：
| 技术领域 | 关键要点 |
| — | — |
| 车牌识别 | 1. 多种车牌识别管道和帧组合策略。
2. 基于字符的组合策略表现优越。
3. 时间信息对提高性能有重要作用。 |
| 乳腺图像边缘检测 | 1. 提出AD - KMLS2算法用于梯度阈值估计。
2. 使用SLIC算法按区域执行平滑过程。
3. 有助于提高乳腺图像质量和诊断准确性。 |

mermaid格式流程图如下：

graph LR
    A[车牌识别研究] --> B[优化性能]
    C[乳腺图像边缘检测研究] --> D[提高图像质量]
    B --> E[应用于交通等领域]
    D --> F[辅助医疗诊断]