Oozie使用java启动外部包

最新推荐文章于 2021-02-27 06:33:32 发布

转载最新推荐文章于 2021-02-27 06:33:32 发布 · 92 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/dacoolbaby/blog/353004

文章标签：

#开发工具 #java #大数据

本文介绍了如何在Oozie的工作流中通过Shell和Java两种方式调用Jar包，并提供了具体的XML配置示例。同时，文章还讨论了如何处理依赖的外部包以避免ClassNotFoundException的问题。

2019独角兽企业重金招聘Python工程师标准>>>

在Oozie的workflow上面调用jar包，可以有两种方式，

一种是使用shell来调用：

<action name="user_action_info_q_node">
        <shell xmlns="uri:oozie:shell-action:0.2">
            <job-tracker>${jobtracker_address}</job-tracker>
            <name-node>${namenode_address}</name-node>
            <configuration>
                <property>
                  <name>mapred.job.queue.name</name>
                  <value>${mapred_job_queue_name}</value>
                </property>
            </configuration>
            <exec>hadoop</exec>
            <argument>jar</argument>
            <argument>${mongo_sync_jar_name}</argument>
            <argument>com.hive.syncJob.HiveMongoSync</argument>
            <argument>-mongo-ip</argument>
            <argument>${mongo_ip}</argument>
            <argument>-mongo-port</argument>
            <argument>${mongo_port}</argument>
        </shell>
        <ok to="info_mongo_shell_node"/>
        <error to="fail"/>
    </action>

一种是使用Java来调用

<action name="test1">
        <java>
            <job-tracker>${jobtracker_address}</job-tracker>
            <name-node>${namenode_address}</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${mapred_job_queue_name}</value>
                </property>
              
            </configuration>
           <main-class>test.java.main.HiveJDBCTEST</main-class>
         <capture-output/>
        </java>
        <ok to="end"/>
        <error to="fail"/>
    </action>

如果依赖外部包，需要在项目文件下创建一个lib包，和项目文件一起put到HDFS上面去。

否则会出现ClassNotFoundException。

Oozie有个配置文件，会将job中的所有java文件引导到一个libpath下面：

##oozie config
#use system library
oozie.use.system.libpath=true

#use custom library
oozie.libpath=${namenode_address}/user/hadoop/share/lib/hive

转载于:https://my.oschina.net/dacoolbaby/blog/353004