11、云数据平台数据摄入全解析

云数据平台数据摄入全解析

1. 数据平台基础概念

在使用云数据平台进行传统或高级分析、生成报告之前，需要先将数据填充到平台中。数据平台的关键特性之一是能够以原生格式摄入和存储各种类型的数据，但这也带来了挑战。下面将介绍一些关键概念和不同类型的数据摄入相关内容。

1.1 编排层与ETL覆盖层

• 编排层 ：根据依赖图协调多个数据处理作业，处理作业失败和重试。它应具备可扩展性、高可用性、可维护性和透明性。
• ETL覆盖层 ：是一种产品或产品套件，主要目的是简化云数据管道的实施和维护。它承担了数据平台架构各层的部分职责，提供了开发和管理特定实现的简化机制。ETL覆盖工具跨多个层工作，负责添加和配置来自多个源的数据摄入（摄入层）、创建数据处理管道（处理层）、存储管道的一些元数据（元数据层）以及协调多个作业（编排层）。

1.2 不同云平台的工具选择

在实施云数据平台时，通常需要混合使用多种工具，转向平台即服务（PaaS）可以在灵活性和可维护性之间取得平衡。以下是不同云平台可考虑使用的工具：
| 云平台 | 工具 |
| ---- | ---- |
| AWS | Glue, DMS, Kinesis, Kinesis Firehose, Lambda, Google Cloud Data Catalog, Step Functions, S3, EMR, Kinesis Data Analytics, Redshift, Athena, DynamoDB |
| Google Clo