WorkFlow中Sqoop Action使用案例错误总结

最新推荐文章于 2021-06-25 21:37:34 发布

原创最新推荐文章于 2021-06-25 21:37:34 发布 · 357 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#oozie的sqoop流程

oozie 专栏收录该内容

9 篇文章

订阅专栏

本文详细解析了job.properties配置文件中常见的错误及其修正方法，包括jobTracker端口、oozieAppsRoot、oozieDataRoot等目录配置错误，以及工作流文件workflow.xml中的常见问题。

job.properties 中可能出现的错误

jobTracker=hadoop-senior.beifeng.com:8032 端口错误

jobTracker的端口设置错误 8032 。表示是yarn的运行地址及端口号

oozieAppsRoot 地址错误

表示在HDFS上oozie运行sqoop流程job的目录。目录前后把反斜杠都去掉。正确写法是oozieAppsRoot=user/beifeng/oozie-apps

oozieDataRoot 地址错误

表示在HDFS上oozie的sqoop流程job运行结果的目录。目录前后把反斜杠都去掉。正确写法是oozieDataRoot=user/beifeng/oozie/datas

oozie.wf.application.path中的地址变量错误，使用上面定义的变量

正确：oozie.wf.application.path= ${nameNode}/$ {oozieAppsRoot}/sqoop-import/workflow.xml
说明： ${oozieAppsRoot} 表示oozie在hdfs上运行的目录，前面已经定义为key，后面再使用时要以变量的方式来使用。**$ {oozieAppsRoot}**

outputDir

错误：应该是提前在oozieDataRoot 的基础上追加的目录。看已经在hdfs系统上创建好的地址黏贴过来。前后没有反斜杠。

正确写法：outputDir=sqoop-import-user/output

workflow.xml 容易出现的错误

错误地址黏贴，都是变量引用，并且是数据输出地址。
正确：

出错地方

sqoop运行的命令必须是以sqoop的命令开头
正确样例：import –connect jdbc:mysql://hadoop-senior.beifeng.com:3306/test –username root –password 123456 –table my_user_0321 –num-mappers 1 –target-dir /user/beifeng/oozie/datas/sqoop-import-user/output