15、数据平台的数据摄入指南

数据平台的数据摄入指南

1. 文件数据摄入

1.1 时间戳跟踪与文件目录

在数据摄入过程中，若应用程序在特定日期（如 2019 - 05 - 28）运行，它只能列出相应目录中的文件。这种方式在源系统文件数量显著增长时，有助于提高性能。不过，使用时间戳跟踪方法会使某些文件的重放摄入变得复杂。若要重新处理特定文件，需调整元数据存储库中的水印值，若多个文件时间戳相同，可能无法单独重新处理单个文件。

1.2 云存储文件复制工具

如果使用云存储作为文件源系统，可考虑特定云供应商提供的文件复制工具：
- Google Cloud ：可以使用 gsutil rsync 工具，在两个 Google Cloud Storage 目标之间、Google Cloud Storage 与本地文件系统之间，甚至 Google Cloud Storage 与 S3 之间同步文件。该工具能跟踪哪些文件已添加到目标位置，仅复制新文件。
- Azure ：可使用 blobxfer （https://github.com/Azure/blobxfer）。
- AWS ：可使用 s3 sync 。

这些工具通过比较源和目标文件列表及校验和来识别新文件或更改的文件，但不存储文件是否已摄入的信息，因此难以重置高水印来重放特定文件的摄入。

1.3 文件摄入元数据捕获

与关系型数据库管理系统（RDBMS）