kettle、Oozie、camus、gobblin

最新推荐文章于 2025-03-30 09:21:29 发布

weixin_33895516

最新推荐文章于 2025-03-30 09:21:29 发布

阅读量229

点赞数

文章标签：大数据

本文介绍了Kettle和Oozie两种流行的数据处理框架。Kettle是一款开源的数据集成工具，适用于ETL操作。Oozie则是一个用于协调Hadoop作业的工作流调度系统。此外还提到了LinkedIn的Camus及Gobblin框架，它们分别用于Kafka到HDFS的数据管道及批量和流式系统的数据集成。

kettle简介

http://www.cnblogs.com/limengqiang/archive/2013/01/16/KettleApply1.html

Oozie介绍

http://blog.youkuaiyun.com/john_f_lau/article/details/18972607

camus

LinkedIn's previous generation Kafka to HDFS pipeline.

https://github.com/linkedin/camus

Gobblin is a distributed big data integration framework (ingestion, replication, compliance, retention) for batch and streaming systems. Gobblin features integrations with Apache Hadoop, Apache Kafka, Salesforce, S3, MySQL, Google etc.https://github.com/linkedin/gobblin/wiki

关注博主即可阅读全文