5、云数据仓库与数据平台：架构、数据摄取与处理的全面对比

云数据仓库与数据平台：架构、数据摄取与处理的全面对比

1. 云数据仓库与数据平台架构差异

云数据仓库架构和云数据平台架构虽在数据摄取时都使用Azure Data Factory，服务时都用Azure Synapse，但存在关键差异。
- 数据平台架构特点 ：使用Azure Data Factory从源系统连接并提取数据后，先将源数据保存到Azure Blob存储的着陆区（即“数据湖”），这样能保留原始数据格式，应对数据多样性挑战。之后利用运行在Azure Databricks托管服务（PaaS）上的Apache Spark处理数据，PaaS服务便于设置和管理，可轻松创建新的Spark集群，还提供易用的笔记本环境，能直接对数据湖中的数据执行Spark命令并立即查看结果。
- 云数据仓库架构特点 ：数据直接加载到仓库。对于交互式查询（期望在几秒内得到响应），设计良好的关系型仓库通常比Spark提供更快的查询性能，且许多现成的报告和BI工具与关系型数据库管理系统（RDBMS）集成更好，对技术水平较低的用户更易用。

以下用表格总结两者差异：
| 架构类型 | 数据摄取 | 数据处理 | 交互式查询 | 工具集成 |
| — | — | — | — | — |
| 云数据仓库 | 直接加载到仓库 | 主要基于SQL | 性能较好 | 与RDBMS集成好 |
| 数据平台 | 先存到数据湖 | 用Spark处理 | 性能一般 | 可灵活选择API |

2. 数据摄取

2.1 使用Azure Data Factory摄取数据