23、大数据处理：Oozie与Hive集成及AWS EMR应用指南

大数据处理：Oozie与Hive集成及AWS EMR应用指南

1. Oozie中的多种操作类型

在大数据处理流程中，Oozie支持多种操作类型，为数据处理提供了丰富的选择：
- Java action ：可以启动带有main方法的Java类，并可传递可选参数。
- Pig ：能够运行Pig脚本，实现复杂的数据处理逻辑。
- Hive ：执行Hive的HQL查询，方便进行数据查询和分析。
- DistCp ：通过运行distcp命令，实现数据在不同HDFS集群之间的复制。

2. Hive Thrift Service Action

内置的Hive操作虽然功能不错，但存在一些缺点。它将Hive作为胖客户端使用，大部分Hive发行版（包括JAR文件和配置文件）都需要复制到工作流目录中。而且，Oozie在启动操作时，会从随机的TaskTracker节点启动，若元存储仅允许特定主机访问，可能会出现访问元存储的问题。此外，如果作业失败，Hive可能会留下一些文件，如hive - history文件或一些/tmp条目，因此需要在TaskTracker节点池中进行清理。

不过，使用Hive Thrift Service（Hive Thrift服务）基本解决了胖客户端的问题。HiveServiceBAction（Hive服务“B计划”操作）借助Hive Thrift Service来启动作业，能将所有Hive操作集中到运行Hive服务的预定义节点集上。以下是相关的操作步骤：