模型监控调研

引言

• 背景：随着算法模型的在工业界大范围更深层次的使用，越来越多不同类型的不同用途的模型加入工业生产中，所以提出来了一个对模型全周期监控的需求，包含对模型的训练数据，测试数据，推理数据，模型性能，下线管理等等方面的监控，以下为个人对模型监控整个流程的调研结果
• 包含 chatgpt 辅助，仅供参考。

模型管理流程梳理

• 注：以下有些内容具体展开可能是重合的，仅供参考。
• 1.数据准备：用于训练和评估模型的数据。这包括数据采集、清洗、标注和分割等处理过程。
• 2.模型开发：使用训练数据来构建和训练机器学习模型。这包括选择适当的算法、特征工程、模型训练和调优等。
• 3.模型验证与评估：训练完成后对模型进行验证和评估。这包括使用预留的验证数据集或交叉验证技术来评估模型的性能并进行调整。
• 4.模型部署：模型通过了验证和评估达到要求后进行上线部署。模型部署包括将训练好的模型集成到实际应用环境中，能够正确接收输入数据并生成预测结果。
• 5.模型监控：模型部署后需要进行模型的监控和维护。这包括监测模型的性能、检测数据偏差和漂移、处理异常情况等。
• 6.模型更新与迭代：随着时间累计数据有更新需要及时对模型进行更新和迭代。这包含使用新数据重新训练模型、添加新特征、调整超参数等。更新后的模型需要再次验证、评估和部署。
• 7.模型回退与版本控制：模型的更新与迭代过程中新版模型可能出现新的问题需要下线处理，此时可能需要回退到之前的模型版本。除此之外还包含跟踪模型的演化和保留历史记录。
• 8.安全与合规性：在模型管理中，需要考虑安全和合规性的问题。这包括保护模型和数据的安全性，遵循隐私法规，并确保模型的公平性和可解释性。

一 数据准备的相关指标(待完善)

• 1.数据采样：如果数据集经过采样(例如重采样、分层采样等)，可以统计每个采样类别的数量，以确保采样方法的有效性。
• 2.样本数量：数据集中的样本数量是一个基本的统计指标，模型复杂程度不同对可训练和测试的样本量也有不同的需求。
• 3.特征数量：数据集中的特征数量表示了样本所包含的不同属性，关系到模型能学习到的不同维度信息。
• 4.缺失值：缺失值是指某些特征的部分数据缺失。统计缺失值的数量和分布可以帮助了解数据的完整性和处理缺失值的需求。
  • i.缺失值比例：计算每个特征中缺失值的比例可以帮助确定数据缺失情况的严重程度，过多就要考虑舍弃该特征。
• 5.异常值：异常值是指特征数据中明显偏离大部分样本数据分布的值。统计异常值的数量和位置可以帮助识别数据中的异常情况。
• 6.数据分布：了解数据的分布情况可以辅助选择合适的模型和特征处理方法。可以通过绘制直方图、箱线图、概率密度图等来可视化数据的分布。
• 7.类别分布：指的是离散特征每个类别的分布，统计每个类别的分布情况可以帮助评估是否存在同特征下类别不平衡的问题。
  • i.类别特征的基本统计信息：对于类别型特征，可以计算每个类别的频数和相对频率，以及计算众数等基本统计信息。
• 8.数值特征的描述统计：对于数值型特征可以计算常见的描述统计指标，例如均值、中位数、标准差、最小值和最大值等。可以辅助分析数据分布、集中趋势和离散程度的信息。
• 9.相关性分析：通过计算特征之间的相关性了解它们之间的关联程度。常用的相关性指标包括皮尔逊相关系数、斯皮尔曼相关系数等。
• 10.时间相关指标：如果数据集包含时间戳或时间相关特征，可以计算时间跨度、时间间隔、时间序列的趋势等指标，以便了解数据在时间维度上的变化。
• 11.标签分布：对于监督学习问题，统计每个类别的标签分布情况可以帮助评估是否存在数据不平衡的情况。
• 12.数据质量指标：除了上述指标之外，还可以计算数据质量指标，如数据完整性(比如缺失情况)、一致性(是否合逻辑)、准确性等，以评估数据集的质量和可靠性。