本文是关于Whylabs模型监控框架的调研，介绍了数据传输、监控的异常分类、模型性能指标、集成情况以及监控功能。框架支持数据质量、漂移、模型性能的监控，并提供丰富的可定制化功能，适用于Python、Java、Spark等环境，可扩展至Flink、Kafka等。
引言
- 背景：本文为个人调研现有主流模型监控框架的总结，其中对一些不满足工作需要的模型框架并未深入研究，总结仅供参考。
- 参考连接：监控框架
- 关于模型监控框架的参考文章貌似都是上面参考连接中那个作者写的，内容大致都是相关，有所偏重，可酌情搜索查看，本文调研的中心点与模型监控调研部分内容重合，可搭配使用。
- 内容较多且是个人总结手稿，酌情参考，有问题可一起探讨。
- 本文为 Whylabs 框架详情总结。
框架调研方向介绍：
- 是否开源，因为业务需要只能内网使用
- 获取数据的方式是什么样的，因为业务真实数据不能脱离指定环境
- 对数据的监控有哪些方面？使用的什么原理；
- 对模型的监控有哪些指标？哪些指标可以覆盖满足
- 框架有无可采用的特色功能，整体流程是什么样的。
- 框架扩展性如何，告警方式有哪些等等相关问题
框架 1：Whylabs：可以自己注册账号试用
- 官方文档：文档
- 简单操作介绍：
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
