8、数据管理系统中的数据集处理与存储

数据管理系统中的数据集处理与存储

在数据管理系统中，数据集的更新、查询、获取训练数据等操作是非常重要的环节。下面将详细介绍这些操作的相关内容。

数据集更新与提交

当接收到数据集更新请求时，系统会执行一系列操作。首先，获取请求中的数据集 ID：

// step (3) receives dataset update request 
String datasetId = request.getDatasetId(); 

接着，找到现有的数据集，并创建一个新的提交对象：

// step (4.a) find the existing dataset, and create a new commit object. 
Dataset dataset = store.datasets.get(datasetId); 
String commitId = Integer.toString(dataset.getNextCommitId()); 

然后，从 URL 下载数据、解析并转换，后续代码与数据集创建代码相同。

每次数据更新请求都会创建一个新的提交对象，数据集的提交历史会跟踪其过去的数据更新。不将新数据与当前数据合并存储，而是单独存储提交数据，主要有两个原因：
1. 原地数据合并可能导致不可逆的数据修改和无声的数据丢失。
2. 为了重现过去使用的训练数据集，需要确保数据管理（DM）服务接收到的数据批次是不可变的，因为它们是创建训练数据集的