10-08-2019 10:32:02 CST load_data_ods_incr ERROR - Failed to build job executor for job load_data_od

最新推荐文章于 2022-01-05 10:08:34 发布
原创 最新推荐文章于 2022-01-05 10:08:34 发布 · 1.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Azkabn传入参数

本文详细解析了Azkaban调度平台中load_data_ods_incr任务执行失败的问题，指出原因是未正确传递参数，特别是在ExecutorFlow的FlowParameters中缺少ui_dt变量的设置。文章提供了具体的解决步骤，即如何通过添加参数来避免此类错误。

Azkabn运行报错

10-08-2019 10:32:02 CST load_data_ods_incr ERROR - Failed to build job executor for job load_data_ods_incrCould not find variable substitution for variable(s) [command->ui_dt]
10-08-2019 10:32:02 CST load_data_ods_incr ERROR - Failed to build job type
10-08-2019 10:32:02 CST load_data_ods_incr ERROR - Job run failed preparing the job.
10-08-2019 10:32:02 CST load_data_ods_incr INFO - Finishing job load_data_ods_incr at 1565404322087 with status FAILED

原因 :未传入参数,有些脚本执行需要从外部传入参数

解决办法

在 Executor Flow的 Flow Parameters
传入参数
add row
name ui_dt value 20190809
例如本人报错传入的是20190809

使用Azkaban过程中遇到的非常见问题以及解决办法
chengyuan54的博客
09-07 1万+
使用azkaban3.9遇到的问题 启动azkaban并且安装插件遇到的问题 启动azkaban报错1： Could not find variable substitution for variable(s) [jobtype.classpath->hadoop.classpath] 错误信息： 1) Error injecting constructor, azkaban.jobtype.JobTypeManagerException: azkaban.jobtype.JobTypeM
2022-10-09 17:50:17.215 [job-0] ERROR HdfsWriter$Job - 判断文件路径[message:filePath =/data/ods/ods_bms_us
默主归沙的博客
10-09 1420
其实就是hdfs路径问题。在企业中经常会搞高可用模式，如果datax的json设置的是nn01为路径，那如果nn02变成主节点，那就会路径失败。nn01和nn02都是高可用主机的别名（我是在生产环境中找的别名）namenode的active和standby模式的切换。从nn01的standby切换为active。从nn02的active切换为standby。在datax导入到hive中，会有这种报错。查看高可用的是否为主节点状态。
azkaban动态传入作业参数使用介绍
热门推荐
helloxiaozhe的博客
07-26 1万+
azkaban动态传入作业参数使用介绍 参数传递时调度系统工作流运行时非常重要的一部分，工作流的执行，单个作业的执行，多个工作流之间的依赖执行，历史任务重算，都涉及参数传递和同步. （1）azkaban的工作流中的参数可以分为如下几个类型： 1）、azkaban UI 页面输入参数， 2）、环境变量参数， 3）、job作业文件中定义的参数，4）、工作流的用户定义的属性文件， 4）、上游...
Azkaban运行报错：我找到的几个错误问题
chun的博客
05-06 3017
ERROR - Failed to build job executor for job xxxxxJob type 'command ’ is unrecognized. Could not construct 出现上面错误信息：我遇到的bug 1.job文件每行最后末尾看看有没有空格，有空格就出错 我用notepad++编辑的打开下面这个 这样就是没空格，有的话末尾是个· 2.就是脚本文件...
azkaban报错：java.lang.IllegalStateException: Process has not yet started.
jackfeng86的专栏
01-05 2537
azkaban报错：java.lang.IllegalStateException: Process has not yet started.
azkaban报错记录
weixin_30457881的博客
04-03 425
问题信息：Failed to build job executor for job o2o_get_file_ftp1Job type 'command ' is unrecognized. Could not construct job 问题背景：搭建azkaban完成后，第一次执行任务时报错问题原因：参考这篇知乎：https://zhuanlan.zhihu.com/p/2...
load_data_incr_sqoop (2).zip
12-04
【压缩包子文件】"load_data_incr_sqoop.job" 和 "load_data_incr_sqoop.sh" 分别可能是Job文件和Shell脚本。Job文件可能是使用特定工具（如Oozie或Airflow）编写的，用于定义和调度数据加载任务，而Shell脚本则可能...
Oracle_data_warehouse.rar_ 数据仓库_Data Warehouse orac_oracle_wareh
09-14
数据仓库（Data Warehouse）是企业信息系统的重要组成部分，它主要用于存储历史数据并支持决策制定过程。在Oracle数据库系统中，构建数据仓库是一项复杂而关键的任务，因为它涉及到数据的整合、清洗、转换以及优化，...
Apache_OpenOffice_4.1.7_Linux_x86-64_install-rpm_zh-CN
10-27
- Calc：作为电子表格程序，与Excel类似，可以创建和编辑复杂的公式，支持CSV、XLSX（Microsoft Excel）和ODS（OpenDocument Spreadsheet）等格式。 - Impress：用于制作演示文稿，支持动画、过渡效果，能导出为...
TFM2016_分析-视觉-修订版-Codigo：修订后的修订版
01-30
daccess-ods.un.org daccess-ods.un.org 汽车 Mario 导师 卡洛斯·洛佩斯·诺扎尔 劳尔Marticorena桑切斯- 维基 在与用户进行API协作的通用手册。 要求 要求 ：在Node.js中使用patternes npm进行操作。 ：基于...
azkaban动态传入作业参数参考手册
Rust168的博客
06-09 665
.快速上手-shell类型job参数传递 2. shell类型的job的参数传递 azkaban中的shell 作业，如何接收从webUI传递的参数？ step1： UI页面输入参数定义： ui_test=test111111111 step2：在job文件myjob.job指定： ##作业定义文件UI输入参数接收： job_param4=${ui_test} ##作业定义文件脚本命令行引用UI输入参数： sh test_azkaban_job.sh "${job_param4}"
解决Azkaban 添加插件错误解决
nxcjh321的专栏
08-22 7669
Okay guys, fire up your HDP2 sandbox for a different way of managing your Apache Pig jobs in Hadoop. I’ve been looking at designing my jobs through Oozie in Hue, and kind of figured it wasn’t worth th
azkaban 动态传参shell篇
Mask_V的博客
12-04 5013
原文地址：https://www.cnblogs.com/honeybee/p/7921626.html 2. shell类型的job的参数传递 azkaban中的shell 作业，如何接收从webUI传递的参数？ step1： UI页面输入参数定义： ui_test=test111111111 step2：在job文件myjob.job指定： ##作业定义文件UI输入参数接收： ...
azkban的配置及实战
programmer_trip的博客
07-23 617
azkaban的配置 ①将以下三个jar包上传到linux系统中 /root/software/ azkaban-executor-server-2.5.0.tar.gz azkaban-sql-script-2.5.0.tar.gz azkaban-web-server-2.5.0.tar.gz ②在/usr/local下创建azkaban目录 mkdir /usr/local/azkaban ③将三个jar包解压到/usr/local/azkaban下 tar -zxvf azkaban-exec
使用azkaban运行脚本文件报错：azkaban.jobExecutor.utils.process.ProcessFailureExceptionazkaban.jobExecutor.utils
IT Baicn的博客
01-09 1万+
错误： 27-12-2018 12:32:36 CST drZlbTodwdjtfq INFO - Starting job drZlbTodwdjtfq at 1545885156153 27-12-2018 12:32:36 CST drZlbTodwdjtfq INFO - Building command job executor. 27-12-2018 12:32:36 CST drZ...
解决azkaban3.x执行job时一直处于preparing状态问题
weixin_44455388的博客
04-10 7733
有两种错误状态: 1、job时一直处于preparing状态问题，然后一会儿就报错; 2、azkaban-exec/bin/logs/azkaban-webserver.log报错: 2020/04/10 10:21:12.310 +0800 ERROR [ExecutorManager] [Azkaban] Failed to update ExecutorInfo for executor :...
Azkaban错误解决
贾宝的博客
01-08 6792
在azkaban中有时候明明代码没有错误，可就是运行不出来，报这样的错误: azkaban.jobExecutor.utils.process.ProcessFailureExceptionazkaban.jobExecutor.utils.process.ProcessFailureException 这时你可以查看下是否是自己的编码格式的错误，azkaban应该使用的是unix格式。可以使用...
console: select count(*) from ods_car_data_inc... failed
最新发布
05-29
### 控制台执行 SQL 查询时出现错误的解决方案 在控制台上执行 `select count(*) from ods_car_data_inc` 时，如果查询失败，可能是由于多种原因引起的。以下是可能的原因及解决方案： #### 1. **统计信息导致的问题** 当 Hive 的配置项 `hive.compute.query.using.stats=true` 时，`select count(*)` 会直接从元数据中获取表的记录条数[^1]。如果元数据中的统计信息不准确或未更新，则可能导致查询结果为空或失败。 **解决方案：** - 设置 `hive.compute.query.using.stats=false`，以确保查询在集群上实际运行并返回真实的数据量。 ```sql set hive.compute.query.using.stats=false; select count(*) from ods_car_data_inc; ``` #### 2. **表或分区不存在** 如果表 `ods_car_data_inc` 是分区表，并且查询时没有指定有效的分区条件，则可能会导致语义异常（SemanticException）。例如： ```sql FAILED: SemanticException [Error 10041]: No partition predicate found for Alias "table_name" Table "table_name" ``` 这表明查询缺少必要的分区过滤条件[^2]。 **解决方案：** - 确认表是否为分区表。如果是分区表，请在查询中添加有效的分区条件。 ```sql select count(*) from ods_car_data_inc where dt='2023-01-01'; ``` #### 3. **表数据为空** 即使表存在，但如果表中没有任何数据，则 `select count(*)` 返回的结果将是 0。这种情况并不算错误，但可能会被误解为查询失败。 **解决方案：** - 检查表是否有数据。可以先尝试查询前几行数据来确认。 ```sql select * from ods_car_data_inc limit 10; ``` #### 4. **权限问题** 用户可能没有足够的权限访问表 `ods_car_data_inc` 或其底层存储的数据文件。 **解决方案：** - 确认当前用户的权限是否正确。可以通过以下命令检查表的所有者和权限。 ```sql show table extended like 'ods_car_data_inc'; ``` #### 5. **语法或拼写错误** SQL 查询可能存在语法错误或表名拼写错误。 **解决方案：** - 检查表名是否正确，以及是否存在大小写敏感问题。 ```sql desc ods_car_data_inc; ``` #### 6. **性能优化建议** 根据引用[^3]，`select count(*)` 和 `select count(1)` 在大多数情况下返回的结果相同。但在某些特定场景下，选择不同的计数方式可能会提升性能。 - 如果表中只有一个字段，`count(*)` 可能更快。 - 如果表中有主键，使用 `count(主键)` 可能更高效。 --- ### 示例代码 以下是一个完整的示例，展示如何排查和解决 `select count(*)` 查询失败的问题： ```sql -- 检查表是否存在 desc ods_car_data_inc; -- 检查表是否有数据 select * from ods_car_data_inc limit 10; -- 禁用统计信息查询 set hive.compute.query.using.stats=false; -- 执行计数查询 select count(*) from ods_car_data_inc; -- 如果是分区表，添加分区条件 select count(*) from ods_car_data_inc where dt='2023-01-01'; ``` --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值