模型监控框架调研(中)

引言

• 背景：本文为个人调研现有主流模型监控框架的总结，其中对一些不满足工作需要的模型框架并未深入研究，总结仅供参考。
• 参考连接：监控框架
• 关于模型监控框架的参考文章貌似都是上面参考连接中那个作者写的，内容大致都是相关，有所偏重，可酌情搜索查看，本文调研的中心点与模型监控调研部分内容重合，可搭配使用。
• 内容较多且是个人总结手稿，酌情参考，有问题可一起探讨。
• 本文为 Deepchecks 框架详情总结。

框架调研方向介绍：

• 是否开源，因为业务需要只能内网使用
• 获取数据的方式是什么样的，因为业务真实数据不能脱离指定环境
• 对数据的监控有哪些方面？使用的什么原理；
• 对模型的监控有哪些指标？哪些指标可以覆盖满足
• 框架有无可采用的特色功能，整体流程是什么样的。
• 框架扩展性如何，告警方式有哪些等等相关问题

监控框架 ： Deepchecks(本地部署未测试，是在 Docker 中运行的，支持 Linux，macOS，Win 三平台)

• 1.官方文档：官方文档

• 2.本地部署参考文档：