亡の剑指

oozie 1.x 运行mapreduce，pig任务的工作流job

从不同的源收集，聚合日志，传输到存储系统。   source用来读取数据，可以是各种客户端，或者来自另一个agent，存入channel，sink来消费，整个过程是异步的。 event只有在被成功存入下一个agent的channel里（多个agent）或最终目的地（单个agent）时才删除，确保可靠性。 Channel有文件和内存两种。 多个实例要指

前言市面上ETL调度工具很多，用起来比较方便，但每一种工具往往具有局限性，可能某些个别的功能不支持。其实我们只要明白了调度系统的思想，底层的实现，完全可以自己手动搭建一个，用开源的语言，数据库，再配合shell脚本。这样做的好处是便于我们对流程细节上的控制，有新需求也较容易扩展实现，只要我们编写的核心控制程序设计合理，层次分明，修改维护起来也较容易。目前有一款较火应用在hadoop分布

每个分区是一段提交日志，有偏移量。队列里的topic可配置过期时间，consumer控制读取的位置offset，consumer之间互不影响。分区是分布式的，所有请求由leader处理，如果配置了副本数，则有对应的follwer。 consumer group：实现了消息队列和广播。topic会发到每个consumer group的其中一个consumer实例。相对于传统pub

sqoop是么哥？sqoop就是封装了RDB与hdfs之间互相cp数据的一个工具，没有它，我们当然也可以写一坨脚本，手动执行，但是用它会更方便，so。。。安装步骤：1、去 http://archive.cloudera.com/cdh/3/ 下载开发包，现在一般下cdh3u3。2、下载jdbc rdb 驱动jar包，我测试用的是mysql 驱动。3、解压完之后把my

oozie是服务于hadoop生态系统的工作流调度工具，job运行平台是区别于其他调度工具的最大的不同。但其实现的思路跟一般调度工具几乎完全相同。首先是作为调度系统两大核心：依赖和触发。依赖可以是条件依赖，比如，资源依赖，依赖于某些数据文件的存在，也可以是任务依赖，比如依赖于另一个job的完成。在oozie里，每一个job对应一个action节点，这个节点可以是java，hadoop FS，m

最近学习oozie，发现文档中有个极其2b的错误：Workflow Diagram: * you do1t have permission to upload pictures because you registered for less than a week。。。。hPDL Workflow Definition: