oozie 常用标签 -- coordinator.xml

最新推荐文章于 2020-11-06 22:39:33 发布

原创最新推荐文章于 2020-11-06 22:39:33 发布 · 1.4k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hive #大数据

oozie 专栏收录该内容

7 篇文章

订阅专栏

本文详细阐述了如何在数据准备阶段通过检查标志文件确保数据可用性，以及如何合理配置协调器参数，包括超时时间、并发任务数等，以实现高效的数据调度流程。重点介绍了数据输入事件检查、配置动态参数以及执行流程的关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

统计前设置检查标志文件至关重要，要是不检查就有可能没有准备好，就统计了，这样的就好出现结果无法解释，重新统计就好了

<coordinator-app name="gwk-med-stat-coord" frequency="${coord:days(1)}" start="${dayStart}" end="${dayEnd}" timezone="Asia/Shanghai"

xmlns="uri:oozie:coordinator:0.2">
        <controls>
        <timeout>3600</timeout>   每次调度的超时时间，-1 永不超时，0不符合条件立即超时推出。
        <concurrency>20</concurrency> 可以同时并行的任务数。
        
   </controls>
   <datasets>
        <dataset name="dataset-cjf-impr" frequency="${coord:days(1)}" initial-instance="${dayDataStart}" timezone="Asia/Shanghai">

<uri-template>${nameNode}/adx-data/log/cjfImprLog/yyyymmdd=${YEAR}${MONTH}${DAY}/</uri-template> 数据文件目录，默认检查目录是 _SUCCESS

主要是用来检查数据文件有没有准备好了。

        </dataset>
        <dataset name="dataset-cjf-click" frequency="${coord:days(1)}" initial-instance="${dayDataStart}" timezone="Asia/Shanghai">
           <uri-template>${nameNode}/adx-data/log/cjfClickLog/yyyymmdd=${YEAR}${MONTH}${DAY}/</uri-template>
        </dataset>
        <dataset name="dataset-cjf-cps_med" frequency="${coord:days(1)}" initial-instance="${dayDataStart}" timezone="Asia/Shanghai">
           <uri-template>${nameNode}/user/hive/warehouse/yiqifa_db.db/redo_date/create_date=${YEAR}${MONTH}${DAY}/</uri-template>
        </dataset>
</datasets>
    <input-events>
          <data-in name="in-cjf-impr" dataset="dataset-cjf-impr">      数据输入到计算程序时，检查指定数据目录上的标志文件，有没有好，不好就等待。
             <instance>${coord:current(-1)}</instance>
         </data-in>
         <data-in name="in-cjf-click" dataset="dataset-cjf-click">
             <instance>${coord:current(-1)}</instance>
         </data-in>
        <data-in name="in-cjf-cps_med" dataset="dataset-cjf-cps_med">
             <instance>${coord:current(-1)}</instance>
         </data-in>
    </input-events>
   <action>
        <workflow>
            <app-path>${workflowDayGwkMedAppUri}</app-path>
            <configuration>
               <property>
                   <name>yyyymmdd</name>
                   <value>${coord:formatTime(coord:dateOffset(coord:nominalTime(),-1,'DAY'), 'yyyyMMdd')}</value>     设置动态参数
               </property>
               <property>
                   <name>yyyymmdd30</name>
                   <value>${coord:formatTime(coord:dateOffset(coord:nominalTime(),-15,'DAY'), 'yyyyMMdd')}</value>
               </property>
            </configuration>
        </workflow>
    </action>
</coordinator-app>