33、云数据仓库与应用数据访问全解析

云数据仓库与应用数据访问全解析

1. 云数据仓库概述

在当今的云计算环境中，有几家主要的云服务提供商提供了不同类型的云数据仓库，其中包括 AWS Redshift、Azure Synapse 和 Google BigQuery。这些数据仓库在功能、架构和成本等方面各有特点。

• AWS Redshift ：具备 Spectrum 功能，可直接从 S3 存储中查询数据，无需先将数据加载到仓库中。
• Azure Synapse ：引入了池的概念，目前有三种类型的池，分别是 SQL 池、SQL 按需池和 Spark 池。
  • SQL 池 ：这是传统的云数据仓库模块，需要先将数据加载到仓库表中才能进行查询。
  • SQL 按需池 ：可以以无服务器的方式直接从 Azure Blob 存储中查询 Parquet、CSV 或 JSON 数据。当运行查询时，Azure 会按需分配计算节点处理查询，查询完成后销毁节点，适用于数据探索或分担主 SQL 池的工作负载。
  • Spark 池 ：支持使用相同的 Synapse 接口对 Blob 存储中的数据运行 Spark 作业。与 SQL 按需池不同，Spark 池并非完全临时的，始终至少需要三个节点可用，并且支持自动缩放。

2. Google BigQuery 的独特之处

Google BigQu