19、机器学习可观测性基础设施：原理、架构与实践

机器学习可观测性基础设施：原理、架构与实践

1. 机器学习可观测性概述

机器学习可观测性是确保生产环境中机器学习模型值得信赖和可靠的基石。它主要涵盖对模型性能、漂移、数据质量和可解释性的监控、警报和分析能力。
- 模型性能 ：通过测量和检查关键指标（如准确性、精确性、召回率等）来评估模型性能，确保其在训练和部署到生产环境后不会显著下降。同时，监控模型性能有助于确保公平性、解决偏差问题并维护模型的完整性。
- 漂移 ：指数据统计属性随时间的变化，包括特征漂移和模型漂移。特征漂移是输入特征统计属性的变化，可能由季节变化、数据收集方法改变等因素引起；模型漂移则是模型性能随时间的恶化，原因可能包括用户行为变化、经济条件和监管变化等。ML 可观测性基础设施需要测量、跟踪和监控漂移，以保护模型性能并帮助模型所有者理解和缓解漂移问题。
- 数据质量 ：模型性能直接依赖于输入数据的质量，常见的数据质量问题包括基数变化、缺失数据、数据类型不匹配和超出范围等。强大的 ML 可观测性基础设施必须在模型开发生命周期中主动检测和跟踪这些问题。
- 可解释性 ：帮助揭开模型决策的神秘面纱，通过特征重要性或归因特征揭示预测背后的推理过程。常用的生成可解释性指标的方法有 SHAP 和 LIME。

2. 高层架构

一个有效且强大的 ML 可观测性架构应具备一系列组件，以提供上述功能。其高层架构以可观测性存储为核心组件，用于存储模型相关数据并访问聚合和转换后的指标。
- 可观测性存储