27、AWS 数据处理与分析服务全解析

AWS 数据处理与分析服务全解析

1. 引言

在数据处理和分析领域，AWS 提供了一系列强大的服务。本文将深入介绍 AWS 数据湖、AWS Transfer Family 和 Kinesis 等服务，帮助你更好地理解和运用这些工具来处理和分析数据。

2. AWS 数据湖与 Lake Formation

2.1 数据湖概述

数据湖是一个集中式数据库，它可以从任意数量的地方收集和存储大量的结构化和非结构化数据。与数据仓库不同，数据湖可以原样存储所有数据，无需进行结构化、清理或去重操作，方便后续进行搜索、分析、可视化和关联操作。

2.2 AWS Lake Formation

AWS Lake Formation 可以让你利用所有数据创建数据湖，无论这些数据存储在 AWS 上还是本地。它借助 AWS Glue 执行提取、转换和加载（ETL）操作。AWS Glue 基于 Apache Spark 大数据框架，除了执行 ETL 操作外，还可用于查询海量数据集。

2.3 数据摄取（Ingestion）

• 数据源 ：使用 AWS Glue，AWS Lake Formation 可以从 S3、RDS、AWS CloudFront、AWS CloudTrail、AWS Billing 和 AWS Elastic Load Balancing (ELB) 等导入数据，也能导入支持 Java Database Connectivity (JDBC) 连接器的本地数据库数据。
• 数据标签