13、训练数据处理全解析：从存储到版本控制

训练数据处理全解析：从存储到版本控制

在数据驱动的时代，训练数据的有效处理对于机器学习应用的成功至关重要。本文将深入探讨训练数据处理的各个方面，包括初始步骤、原始数据存储、格式映射、数据组织以及版本控制等内容。

开启训练数据处理之旅

若打算采用以训练数据为中心的方法，首先要完成以下两个关键步骤：
1. 设置训练数据数据库定义 ：训练数据数据库将所有数据集中存储，包含与其他系统的映射定义。这能减少映射错误、数据传输需求和数据重复，确保数据的一致性和准确性。
2. 设置数据摄取 ：在正式摄取数据之前，还需了解一些相关术语，如原始数据存储、原始媒体 BLOB 特定问题、格式化和映射、数据访问以及安全问题等。

原始数据存储的考量

原始数据存储的目标是将图像、视频和文本等原始数据转换为适合训练数据工作的可用形式。根据媒体类型的不同，这一任务的难度也有所差异。在选择存储解决方案时，有几个重要因素需要考虑：
| 考量因素 | 具体内容 |
| ---- | ---- |
| 存储类 | 存储层之间存在显著差异，涉及访问时间、冗余性、地理可用性等权衡。不同层级的价格差异巨大，可利用生命周期规则（如 Amazon S3 的规则）自动将旧文件转移到更便宜的存储选项。 |
| 地理位置（区域） | 需考虑数据存储位置与标注人员访问位置的关系，尽量将数据存储在靠近标注地点的地方，以提高访问效率。 |
| 供应商支持 | 并非所有标注工具对主要供应商的支持程度都相同。虽然可以手动集成各种服务，但原生集成的工具更省力。 |
| 按