17、机器学习数据处理与标注全解析

机器学习数据处理与标注全解析

1. 模型运行与数据驱动理念

在机器学习领域，模型运行不仅仅取决于通过模型的样本或样本批次，更多是由其他需求所驱动。“训练数据集”应是一个完整、真实的数据集，而非模型在处理过程中产生的部分产物。模型本身通常以原始权重的形式存在，这是训练过程的直接输出，而模型运行则会添加诸如运行时设置（如分辨率、步幅）等上下文信息。因此，将每次模型运行视为一个唯一的ID是很有必要的，因为即使模型结构相同，但训练数据和参数等不同，每次运行都是独特的。静态模型运行也具有唯一性，因为上下文和运行时参数可能会发生变化。

模型运行也被称为预测。机器学习模型可以在样本或数据集上运行，例如给定模型X和输入图像Y，应返回预测集Z。在视觉场景中，可能是一个目标检测器、一张道路图像和一组边界框实例。

2. 模型的持续改进与数据流向

模型的持续改进是一个重要理念，通过不断更新训练数据和模型来实现。理想情况下，可通过“流式”机制完成，例如当满足标准时，新的模型预测会自动推送到审核系统。目前，需要考虑数据任务完成后的去向以及要进行的阶段。

3. 数据流程概述

数据在系统中的流动涉及两个主要概念：整体工作流程（包括数据摄入、任务处理、模型训练等）和特定任务的数据流程。通常会有多个不同上下文的管道，如面向人员任务的训练数据管道、涉及训练过程和模型部署的模型管道，以及像Apache Airflow这样将数据从其他系统移动到训练数据系统的通用管道。

4. 流式传输概述

流式传输的目标是按需自动获取人工标注。人们常将其与实时流式传输混淆，实际上它是指在团队中有人定义了标签模式，但数据尚未准备好