工业视觉目标检测阈值选择与生产决策评估报告

工业视觉目标检测阈值选择与生产决策评估报告

一、报告目的

工业视觉模型不能仅凭 mAP50、F1 或单一置信度阈值决定能否上线。阈值选择必须结合漏报风险、误报告警、人工复核能力及实际生产流量。

核心原则：以曲线分析检测能力，以 TP/FP/FN 支撑定量计算，以业务约束决定阈值，以独立测试和生产监控验证上线效果。

---

二、基础指标与评估口径

2.1 TP、FP、FN 定义

• TP：成功匹配真实目标的预测框。
• FP：未匹配真实目标的预测框（含重复检测框）。
• FN：未被有效预测匹配的真实目标（漏检目标数）。

$$P=\frac{\text{TP}}{\text{TP}+\text{FP}},R=\frac{\text{TP}}{\text{TP}+\text{FN}},F_1=\frac{2\text{TP}}{2\text{TP}+\text{FP}+\text{FN}}$$

分母为零时，应按评估规范明确处理，不得将未定义值直接当作实测结果。

2.2 统一评估口径与扫描范围

1. 后处理对齐：必须固定类别匹配、GT 匹配 IoU、匹配算法及顺序、NMS 实现与参数、置信度预过滤阈值、max_det 和重复框处理规则。
2. 扫描范围与步长限制：置信度阈值扫描的下限必须低于或等于生产推理的预过滤阈值，否则会漏掉低置信度候选框，导致统计口径与生产不一致。扫描步长应足够密（如 $\Delta c=0.01$），避免因步长过大错过满足约束的拐点。
3. 统计层级区分：实例级指标（P、R、F1）与图片级、事件级告警必须严格分开统计。

---

三、PR 曲线的作用与边界

PR 曲线用于分析 Precision 与 Recall 的权衡、比较模型及筛选候选工作点。

密集曲线或插值点不能直接作为真实阈值统计结果。自动选点、成本计算和告警预算核算必须使用实际阈值扫描数据（Raw Scan Results）及其对应的 TP、FP、FN。

---

四、生产阈值选择策略

4.1 硬召回约束

适用于火灾、严重泄漏等高漏报代价场景：

c∗=max⁡{c∈Cscanned∣R(c)≥Rmin⁡∧PassAllHardConstraints(c)}c^* = \max \{ c \in \mathcal{C}_{\text{scanned}} \mid R(c) \ge R_{\min} \land \text{PassAllHardConstraints}(c) \}c∗=max{c∈Cscanned​∣R(c)≥Rmin​∧PassAllHardConstraints(c)}

• 重要限定：该公式仅在“来自实际扫描候选点、完整生产后处理流程、且在满足全部硬约束的可行集合内”时成立。单纯的 $R(c)\ge R_{\min }$ 不保证告警量不超预算或 Precision 达标。
• 提高置信度阈值不应被直接视为 FP 必然单调下降；应在实际生产后处理流程下验证。

4.2 告警预算约束与流量换算

在满足全部硬性约束的候选集合中最大化 Recall：

$$c^{\ast }=\arg \underset{c\in {\mathcal{C}}_{\text{valid}}}{\max }R(c)$$

Cvalid={c∣R(c)≥Rmin⁡,Nalert(c)≤M,and other hard limits}\mathcal{C}_{\text{valid}} = \{ c \mid R(c) \ge R_{\min}, N_{\text{alert}}(c) \le M, \text{and other hard limits} \}Cvalid​={c∣R(c)≥Rmin​,Nalert​(c)≤M,and other hard limits}

• 流量换算假设：每日告警估计值（daily_estimated_alerts）依赖于验证集时长、图片数量、相机路数及事件聚合逻辑。必须明确评估流量与生产流量的代表性假设；若生产场景、环境或事件分布发生变化，换算值需进行动态修正。

4.3 误报与漏报成本优化

设漏报代价为 $A$，误报代价为 $B$：

$$L(c)=A\cdot \text{FN}(c)+B\cdot \text{FP}(c)$$

$$c^{\ast }=\arg \underset{c\in {\mathcal{C}}_{\text{valid}}}{\min }L(c)$$

• 成本模型约束：候选 $c$ 必须限定在实际评估过的候选集内。成本模型必须明确是否覆盖全部类别。若不同类别的漏报后果差异巨大，应采用类别加权成本或直接为高风险类别设置独立硬约束，防止简单求和掩盖局部高风险。

---

五、类别级与总体级策略配置

在工业部署中，必须明确阈值应用模式，严禁评估时采用类别独立阈值而上线时强行改为统一阈值：

阈值模式	适用场景	主要风险与要求
全类别统一阈值	类别间风险对称、后处理管线单一	可能牺牲部分高风险类别的召回率
类别独立阈值	各类风险及发生频率差异显著	必须确保生产推理管线支持多阈值配置，防止类别间失衡
统一阈值加类别硬约束	业务要求单一阈值但部分类必须保底	可能存在可行解为空的情况，需提前评估模型能力

---

六、阈值扫描数据契约与Scope规范

每个类别、每个实际扫描阈值记录的数据必须包含以下明确的标识字段：

• scope：per_class（类别级）或 overall（总体级）。
• class_id：类别标识（总体统计时明确为空或 global）。
• threshold_policy：global_unified 或 class_specific。
• alert_unit：告警单位（bbox、image、event）。
• conf、precision、recall、f1、tp、fp、fn（非负整数，漏检目标数）。
• eval_alert_count 与 daily_estimated_alerts。
• 完整元数据：模型/数据集版本、NMS 参数、预过滤阈值、max_det、GT 匹配 IoU 与顺序规则。

注：总体指标的汇总必须明确采用宏平均（Macro-average）还是微平均（Micro-average），严禁直接对各类别的 P/R/F1 做简单算术平均。

---

七、自动选点的四步实现与失败诊断

自动选点应在工程上严格分层处理：

1. 输入与配置校验：拦截非法数值、NaN/Inf、计数截断错误及非法的成本参数（参数非法时必须直接报错，严禁静默降级）。
2. 可行域筛选：对有效候选点进行 Recall 底线、告警预算及其他硬约束的联合检查。
3. 细粒度失败诊断（当无可行解时）：

• 输入无效：数据格式错、计数异常、参数非法。
• Recall 不达标：无任何候选点满足召回底线。
• 告警超预算：满足召回的候选点均超告警上限。
• 多约束冲突：单项约束虽可满足，但无任何交集。

4. 目标优化求解：在可行域内依据预设策略（成本最小化或最大 Recall）及明确的平局规则（如优先选择告警更低或 conf 更高者）输出最终阈值。

---

八、选点决策流程示例（文本结构化）

[输入：原始候选扫描点集合 + 业务硬约束 (min_recall, max_alerts) + 成本模型]
  │
  ├─► Step 1: 严格数据清洗与合法性校验 (抛弃 NaN/Inf, 校验 P/R 一致性)
  │
  ├─► Step 2: 依据硬约束构建可行候选子集 (C_valid)
  │     └─► 若 C_valid 为空 ──► 触发细粒度失败诊断 (诊断 Recall/预算/冲突)
  │
  ├─► Step 3: 在 C_valid 内执行目标优化求解
  │     ├─► 存在有效成本模型 ──► 选择总损失 L(c) 最小的点
  │     └─► 无成本模型 ──► 选择 Recall 最高点 (按平局规则裁决)
  │
  └─► Step 4: 输出最终建议阈值、预期 P/R/FN 及诊断依据

---

九、独立测试、统计不确定性与验收标准

1. 防范测试集污染：开发集/验证集仅用于阈值扫描与候选选择；最终验收必须使用从未参与过参数调节的新独立测试集。
2. 统计不确定性与置信下界：

• 统计单位与相关性：识别同一视频或事件内多个 GT 的相关性，按独立视频序列或独立事件进行分组抽样。
• 置信水平与验收规则：高风险场景（如火灾）必须计算 Recall 的单侧置信区间下界（例如 Clopper-Pearson 95% 置信下界）。验收标准：单侧 95% 置信下界必须达到规定的 $R_{\min }$。仅凭观测 Recall 达标不能直接通过验收。

3. 生产灰度监控：结合生产环境光照、设备及流量差异，通过灰度部署持续追踪误报、漏报及人工复核负荷。

---

十、结论

PR 曲线用于分析检测能力，TP/FP/FN 用于精确计数和成本计算，实际告警规则与生产流量用于评估告警负荷，硬约束决定可行集合，优化目标决定最终阈值。

mAP50 或 F1 较高本身不能证明模型满足生产要求。上线决策必须同时具备可复核的评估口径、明确的业务约束、独立测试证据（含统计置信下界）及持续生产监控。