OpenMMLab MMOCR 项目中的模型评估指标详解-优快云博客

OpenMMLab MMOCR 项目中的模型评估指标详解

mmocr OpenMMLab Text Detection, Recognition and Understanding Toolbox 项目地址: https://gitcode.com/gh_mirrors/mm/mmocr

前言

在计算机视觉领域，特别是OCR（光学字符识别）任务中，准确评估模型性能是至关重要的。OpenMMLab MMOCR项目提供了一套完善的评估体系，涵盖了文本检测、文本识别和关键信息提取三大任务的多种评估指标。本文将深入解析这些评估指标的原理、实现细节和使用方法，帮助开发者更好地理解和应用这些指标来评估模型性能。

评估指标概述

MMOCR实现了基于MMEngine中BaseMetric基类的多种评估指标，用户可以通过修改配置文件中的val_evaluator和test_evaluator字段来指定验证和测试阶段使用的评估指标。评估指标主要分为以下几类：

文本检测任务指标：HmeanIOUMetric
文本识别任务指标：WordMetric、CharMetric、OneMinusNEDMetric
关键信息提取任务指标：F1Metric

文本检测评估指标

HmeanIOUMetric详解

HmeanIOUMetric是文本检测任务中最常用的评估指标之一，它计算检测精度(P)和召回率(R)之间的调和平均数(H-mean)。其计算公式为：

H = (2×P×R)/(P+R)

在MMOCR中，HmeanIOUMetric的计算过程可以分为以下几个步骤：

无效预测过滤：
- 过滤掉分数低于pred_score_thrs的预测结果
- 过滤掉与忽略的标注框重叠比例超过ignore_precision_thr的预测结果
IoU矩阵计算：
- 计算并维护一个M×N的IoU矩阵，其中M和N分别表示标注框和过滤后预测框的数量
匹配策略选择：
- vanilla策略：默认策略，与ICDAR系列比赛的官方评估标准一致
- max_matching策略：最大化匹配数量的策略
最终分数计算：
- 根据选择的匹配策略计算最终评估分数

开发者可以通过配置灵活调整评估参数：

val_evaluator = dict(
    type='HmeanIOUMetric',
    pred_score_thrs=dict(start=0.3, stop=0.9, step=0.1),
    strategy='max_matching'
)

文本识别评估指标

WordMetric（词级评估）

WordMetric实现了词级文本识别评估指标，支持三种匹配模式：

exact：完全匹配模式
ignore_case：忽略大小写模式
ignore_case_symbol：忽略大小写和符号模式（学术论文常用）

配置示例：

val_evaluator = [
    dict(type='WordMetric', mode=['exact', 'ignore_case', 'ignore_case_symbol'])
]

CharMetric（字符级评估）

CharMetric实现了字符级文本识别评估指标，特点包括：

不区分大小写
输出字符精度(char_precision)和字符召回率(char_recall)

计算公式： P = σ_tp/σ_pred R = σ_tp/σ_gt

其中σ_tp是正确预测的字符数，σ_pred和σ_gt分别是预测文本和标注文本的总字符数。

OneMinusNEDMetric（归一化编辑距离）

OneMinusNEDMetric特别适合中英文文本行级别的评估，它使用归一化编辑距离来衡量预测文本与标注文本的差异，能更好地区分模型在长文本上的性能差异。

计算公式： score = 1 - (1/N)∑(D(s_i, ŝ_i)/max(l_i, ̂l_i))

其中D(s1,s2)是两个字符串的编辑距离。

关键信息提取评估指标

F1Metric

F1Metric实现了关键信息提取任务的F1评估指标，提供两种模式：

micro模式：基于全局统计计算F1分数
macro模式：计算每个类别的F1分数后取平均

配置示例：

val_evaluator = [
    dict(type='F1Metric', mode=['micro', 'macro'])
]

自定义评估指标

MMOCR支持用户实现自定义评估指标，基本步骤如下：

创建继承自BaseMetric的自定义评估类
重写process方法处理数据格式
重写compute_metrics方法计算指标
将类注册到METRICS注册表中

示例代码：

from mmengine.evaluator import BaseMetric
from mmocr.registry import METRICS

@METRICS.register_module()
class CustomizedMetric(BaseMetric):
    def process(self, data_batch, predictions):
        # 处理数据
        pass
        
    def compute_metrics(self, results):
        # 计算指标
        pass