10、AI系统的运维、监控、分析与可靠性保障

AI系统的运维、监控、分析与可靠性保障

1. 系统运维、监控与分析概述

系统部署后便开始为用户提供服务，在运行过程中，需收集并分析数据，以指导下一轮的设计与开发。以下将从监控、事件处理、数据漂移、动态模型更新、混沌工程和分析等方面进行详细介绍。

1.1 监控

AI系统包含众多服务和连接，监控资源使用和活动对于提高效率、排查故障以及清理输入输出至关重要。监控数据主要来自基础设施、系统代码和服务日志。
- 基础设施 ：收集虚拟机和容器的利用率指标，如CPU、I/O、网络和内存使用情况。
- 系统代码 ：记录特定于应用程序的指标，如活动会话数、新账户创建数等。
- 服务日志 ：记录服务特定信息，包括模型准确性、数据漂移、伦理问题和社会影响等。

监控数据的用途主要有以下三个方面：
1. 生成警报 ：根据测量值（特别是指标）生成警报，指示系统运行中的严重问题。
2. 故障排查 ：利用系统收集的日志来识别问题。
3. 分析 ：实时分析系统是否达到预定义的性能标准，事后分析则更广泛，如数据漂移、偏差和法规合规性。

部分监控数据会反馈到特征存储中，用于改进机器学习模型的特征，进而升级模型。

1.2 事件处理

事件是可能导致组织运营、服务或功能损失或中断的事件，在软件层面表现为逻辑、效率、可用性或安全问题。监控系统会根据规则检查