hadoop 客户的的使用

本文详细介绍了 Hadoop 中 JobClient 的各种命令及其用法,包括提交任务、查询状态、设置优先级等操作,并解释了 kill 和 fail 命令的区别。
${HADOOP_HOME}/bin/hadoop job
Usage: JobClient <command> <args>
        [-submit <job-file>]
        [-status <job-id>]
        [-counter <job-id> <group-name> <counter-name>]
        [-kill <job-id>]
        [-abort <job-id>]
        [-suspend <job-id> [hours]]
        [-recover <job-id> [-force] [-jobconf name=value] [-file local-path] [-cacheArchive]]
        [-set-priority <job-id> <priority>]. Valid values for priorities are: VERY_HIGH HIGH NORMAL LOW VERY_LOW
        [-set-map-capacity <job-id> <map-capacity>]
        [-set-reduce-capacity <job-id> <reduce-capacity>]
        [-set-map-over-capacity <job-id> <true/false>]
        [-set-reduce-over-capacity <job-id> <true/false>]
        [-events <job-id> <from-event-#> <#-of-events>]
        [-history <jobOutputDir>]
        [-list [all]]
        [-kill-task <task-id>]
        [-fail-task <task-id>]
        [-input-add <job-id> <input>]
        [-input-done <job-id>]

 

  • -kill <job-id> kill一个job,job的最终状态是KILLED
  • -kill-task <task-id> kill一个task attempt,task attempt的最终状态是KILLED,对应的task会重新启动一个task attempt计算,kill不会导致task失败
  • -fail-task <task-id> fail一个task attempt,task attempt的最终状态是FAILED,如果task attempt fail超过一定次数(默认4次),对应task会失败
  • -set-priority <job-id> 设置job的优先级
  • -status <job-id> 获取job的状态
  • -list [all] 获取作业列表,没有参数表示获取运行的作业列表,参数all表示获取所有作业列表
  • -suspend <job-id> [hours], -recover <job-id> 在断点重启中介绍

转载于:https://www.cnblogs.com/li-daphne/p/6866555.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值