33、机器学习系统的监控与可靠性保障

机器学习系统的监控与可靠性保障

1. 数据读取函数及潜在问题

在数据处理中，有如下代码：

# happy case, read from DB and return the number
...
except Exception:
    return -1 

若后续未对 -1 进行替换，该函数处理可能缺失或损坏的数据并非最佳方式。在底层编程中，返回不可能的值是常见做法，但对于机器学习而言，返回其他项的中位数等更合适。

2. 级联/上游模型问题

在更复杂的机器学习系统中，可能存在多个相互依赖的模型，一个模型的输出作为另一个模型的输入，这可能形成相互关联的模型循环，易出现问题。

2.1 案例分析

• 实体识别与分类系统 ：先由命名实体识别模型提取核心实体，再用多个内部和外部数据集丰富，最后用于分类。不同人开发和维护系统组件，可能出现命名实体识别模型自身指标改善，但下游分类器性能下降的情况。后来工程师实施跨栈检查，避免在未对下游模型进行适当检查的情况下部署上游新版本，提前发现潜在故障。
• 内容或产品推荐引擎 ：一个模型预测产品或项目的受欢迎程度，另一个模型根据预测的受欢迎程度向用户推荐。若受欢迎程度预测模型有误，会导致第二个模型给出错误推荐。
• 汽车路线导航系统 ：一个模型预测各路线的预计到达时间，另一个模型对选项进行排名并建议最佳路线。若预测预计到达时