20、ML可观测性基础设施与Ray Core：分布式计算在MLOps中的应用

ML可观测性基础设施与Ray Core：分布式计算在MLOps中的应用

1. ML可观测性基础设施

在机器学习（ML）领域，模型部署到生产环境后，确保其性能维持在预期水平至关重要。ML可观测性基础设施在其中起着关键作用，它能够检测、监控、预警和诊断模型性能问题。

1.1 Great Expectations

在MLOps管道中，Great Expectations Python库可轻松集成，用于在ML开发生命周期的不同步骤执行各种数据验证。验证结果可转化为人类可读的报告，方便离线审查或与数据利益相关者共享。

1.2 whylogs

• 功能概述 ：whylogs是一个开源库，用于生成各种数据类型的统计摘要，包括表格数据、文本、音频、图像等。它采用数据剖析技术，能准确表示罕见事件和异常值。生成的whylogs配置文件以标准格式捕获数据在一段时间内的快照，提供值分布、不同值计数、分位数等关键统计信息的全面概述，还允许使用用户定义的指标和元数据进行定制。
• 特点 ：
  • 高效 ：whylog配置文件体积紧凑，能高效描述所代表的数据集。所有统计信息以流式方式收集，只需对数据进行一次遍历，内存开销极小，可随列数线性扩展，而非数据量。
  • 可定制 ：提供易于配置和定制的统计信息，如针对不同数据类型和用例的自定义跟踪器，能适应各种复杂数据类型。
  • 可合并