10、云数据平台：主流服务与替代方案解析

云数据平台：主流服务与替代方案解析

1. Google Cloud相关服务

在数据处理和管理方面，Google Cloud提供了一系列实用的工具和服务。

1.1 Cloud Data Fusion

Cloud Data Fusion可进行影响分析，当给定的管道发生变化时，能了解哪些数据会受到影响。同时，它会跟踪管道执行的多项统计信息，如处理的行数、不同阶段的时间等，这些信息可用于监控和调试。

1.2 Cloud Composer

Cloud Composer是用于复杂作业编排的完全托管服务，基于流行的Apache Airflow项目，可直接执行现有的Airflow作业，无需修改。Airflow允许创建包含多个步骤的作业，例如从Google Cloud Storage读取文件、启动Cloud Dataflow作业进行处理，并在成功或失败时发送通知。它还支持作业之间的依赖关系，可按需重新运行单独的步骤或完整作业。Cloud Composer简化了Airflow环境的管理，因为提供所需的虚拟机、安装和配置软件等都包含在服务中。

1.3 BigQuery与数据消费者

BigQuery目前没有对JDBC/ODBC驱动的原生支持，但第三方Simba Technologies提供免费的驱动。BigQuery的原生数据访问通过REST API进行，Simba的JDBC/ODBC驱动充当JDBC/ODBC API与BigQuery REST API之间的桥梁。不过，从一种协议转换到另一种协议存在局限性，主要体现在响应延迟和总吞吐量方面，这些驱动可能不适用于需要低延迟响应或从BigQuery提取大量（数十GB