oozie安装遇到问题解决

最新推荐文章于 2024-01-05 11:32:05 发布

原创最新推荐文章于 2024-01-05 11:32:05 发布 · 5.5k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#oozie

hadoop 专栏收录该内容

56 篇文章

订阅专栏

本文档详细介绍了Apache Oozie的安装步骤与常见配置问题解决方案，包括BuildingOozie过程中组件下载耗时长的问题处理，oozie-site.xml及oozie-default.xml文件配置注意事项，以及如何避免权限和路径配置错误。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

安装按照官网：http://oozie.apache.org/docs/4.1.0/DG_QuickStart.html

1.其中：Building Oozie过程，由于联网下载组件，耗时较长，大约1到数个小时。

hadoop.proxyuser.[OOZIE_SERVER_USER].hosts
[OOZIE_SERVER_HOSTNAME]

hadoop.proxyuser.[OOZIE_SERVER_USER].groups
[USER_GROUPS_THAT_ALLOW_IMPERSONATION]

这个配置必须在集群namenode主机上配置，否则出现权限问题。

2.
oozie-site.xml文件配置

oozie.service.WorkflowAppService.system.libpath
hdfs:///user/ ${user.name}/share/lib System library path to use for workflow applications. This path is added to workflow application if their job properties sets the property 'oozie.use.system.libpath' to true. 这段配置在oozie-site.xml中和oozie-default.xml中都需添加， oozie-default.xml中配置是没有 hdfs:///user/$ {user.name}/share/lib 中的hdfs://的，不知道为什么。
同时，将hadoop 中的core-site.xml配置文件内容加到oozie 的hadoop-conf目录下的core-site.xml中。
不进行这样修改，会报can not locate sharelib的错误(我的情况)。正常情况下，下面的命令会列出sharelib的内容
./oozie admin -oozie http://localhost:11000/oozie -shareliblist

3.运行job的时候：
./oozie job -oozie http://localhost:11000/oozie -config /home/hadoop/xiaoft/oozie/oozie-4.1.0/distro/target/oozie-4.1.0/examples/apps/java-main/job.properties -run

config后面的配置文件，我写的本地路径，能够找到。官网上面写得应该是hdfs路径，但我写hdfs路径，它找不到。