22、数据生命周期管理与工作流优化

数据生命周期管理与工作流优化

1. 工作流目录结构

在工作流目录中，随着文件数量的增加，采用合理的结构和命名约定是很有必要的。当前工作流在HDFS上的目录结构如下：

/hive/
/hive/create.hql
/lib/
/pig/
/pig/extract_for_hive.pig
/scripts/
/scripts/gettweets.sh
/scripts/stream-json-batch.py
/scripts/twitter-keys
/hive-site.xml
/job.properties
/workflow.xml

遵循的模式是将配置文件放在顶级目录，而将与特定操作类型相关的文件放在专用子目录中。即使 lib 目录为空，它也是有用的，因为某些节点类型会查找该目录。

组合作业的 job.properties 文件如下：

jobTracker=localhost.localdomain:8032
nameNode=hdfs://localhost.localdomain:8020
queueName=default
tasksRoot=book
workflowRoot=${nameNode}/user/${user.name}/${tasksRoot}/v2
oozie.wf.application.path=${nameNode}/user/${user.name}/${tasksRoot}/v2
ooz