数仓项目中azkaban的工作错误总结!

一、写成的sql文件提交到azkaban中,进行任务调度:

博客中有对azkaban的学习,可以看一下,这里主要记录一下azkaban的坑

1、调度文件:*.job,这个文件以.job结尾,其中,格式是这样的:

---
config:
  #failure.emails: xx@xx

nodes:
  - name: dm_release_customer_cube_sql_job
    type: command
    config:
      command: sh dm_release_customer_cube.sh

2.脚本文件:以.sh 结尾,注意!!

这个文件要改成unix格式!!!!

否则执行不了。

3、需要将hdfs的配置文件复制到spark的配置文件中:主要有:

4、任务提交执行时产生的错误:

Exception in thread "main" org.apache.spark.SparkException: 
Yarn application ha
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值