Apache Gobblin 使用教程

Apache Gobblin 使用教程

gobblin Apache Gobblin: 是一个开源的数据集成框架，用于在分布式环境中提取、转换和加载数据。适合数据工程师、数据分析师和开发者，特别是那些需要处理大量数据集并确保数据一致性的开发者。特点包括支持多种数据源和目标、提供可扩展的架构以适应不同规模的数据集、支持增量处理和实时数据处理以及提供丰富的配置选项。 项目地址: https://gitcode.com/gh_mirrors/gobblin

1. 项目介绍

Apache Gobblin 是一个分布式数据集成框架，它简化了大数据集成中的常见方面，如数据摄取、复制、组织和生命周期管理，适用于流数据和批量数据生态系统。Gobblin 被设计用于优化和执行 ELT 模式，并在摄取时提供内联转换（小写 t）。它支持从各种数据源和数据接收器中摄入和导出数据，并在数据湖中进行数据组织、生命周期管理和合规性管理。

2. 项目快速启动

环境要求

• Java >= 1.8
• Maven 版本 3.5.3 (如果需要构建包含测试的分布)

下载 Gradle Wrapper

在构建 Gobblin 源代码分布之前，需要下载 gradle-wrapper.jar 文件到 gradle/wrapper 目录。可以通过以下命令完成：

wget --no-check-certificate -P gradle/wrapper https://github.com/apache/gobblin/raw/{GOBBLIN_VERSION}/gradle/wrapper/gradle-wrapper.jar

或者使用 curl 命令：

curl --insecure -L https://github.com/apache/gobblin/raw/{GOBBLIN_VERSION}/gradle/wrapper/gradle-wrapper.jar > gradle/wrapper/gradle-wrapper.jar

确保将其下载到 gradle/wrapper 目录。

构建分布

提取归档文件到本地目录后，可以使用以下命令构建分布：

跳过测试并构建分布：

./gradlew build -x findbugsMain -x test -x rat -x checkstyleMain

或者运行测试并构建分布（需要 Maven）：

./gradlew build

构建的分布将位于 build/gobblin-distribution/distributions 目录。

3. 应用案例和最佳实践

流/批量摄入 Kafka 数据到数据湖

使用 Gobblin 将 Kafka 数据摄入到 HDFS、S3 或 ADLS。

从数据湖批量加载到服务层存储

例如，将 HDFS 中的数据批量加载到 Couchbase。

跨联合数据湖的数据同步

支持 HDFS 与 HDFS、HDFS 与 S3、S3 与 ADLS 之间的数据同步。

集成外部供应商 API 与数据存储

例如，将 Salesforce 或 Dynamics 等外部 API 的数据集成到 HDFS 或 Couchbase。

执行数据保留策略和 GDPR 删除

在 HDFS 或 ADLS 上实施数据保留策略和 GDPR 删除。

4. 典型生态项目

Apache Gobblin 通常与以下生态系统项目结合使用：

• Apache Kafka：用于流数据摄取。
• HDFS：用于大数据存储。
• Apache Spark：用于复杂数据处理任务。
• Apache Hive：用于数据仓库。
• Apache Airflow：用于工作流管理。

以上是 Apache Gobblin 的基本使用教程，希望对您有所帮助。

gobblin Apache Gobblin: 是一个开源的数据集成框架，用于在分布式环境中提取、转换和加载数据。适合数据工程师、数据分析师和开发者，特别是那些需要处理大量数据集并确保数据一致性的开发者。特点包括支持多种数据源和目标、提供可扩展的架构以适应不同规模的数据集、支持增量处理和实时数据处理以及提供丰富的配置选项。 项目地址: https://gitcode.com/gh_mirrors/gobblin