Hadoop源码分析之Id.java

本文介绍了Hadoop中任务标识的基本概念,包括JobID和TaskID的组成部分及其含义,如JobTracker启动时间和任务类型等。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

ID.java  接口, implements WritableComparable<ID>  是 jobId taskId TaskAttemptID的基类


JobId.java  

 * jobid是job的唯一不变的代表。jobid包括两部分,第一部分代表jobtracker的唯一,对于集群安装来说,这个字符串是
 * jobtracker的开始时间 对于本地设置来说,他就是本地
 * jobid的第二部分是job 号。
 * 例如 如下 代表 200707121733开始的jobtracker的第三个job
 * An example JobID is : 
 * <code>job_200707121733_0003</code> ,


TaskId.java

 taskId 代表一个map或reduce 任务的唯一。每一个taskid包含多种执行map 或reduce的尝试,
 * 每一个都是根据 TaskAttemptID唯一确定的。
 * TaskID包括三个部分:第一部分是这个task属于的job的jobId。第二部分是‘m‘或者’r‘
 * 代表这个任务是map任务还是reduce任务,第三部分是 task号
 * 例如:task_200707121733_0003_m_000005


2025/08/01 10:00:55 - 执行SQL脚本.0 - ERROR (version 9.4.0.0-343, build 0.0 from 2022-11-08 07.50.27 by buildguy) : 错误初始化步骤[执行SQL脚本] 2025/08/01 10:00:55 - 执行SQL脚本.0 - ERROR (version 9.4.0.0-343, build 0.0 from 2022-11-08 07.50.27 by buildguy) : java.lang.NoSuchMethodError: com.ctc.wstx.io.StreamBootstrapper.getInstance(Ljava/lang/String;Lcom/ctc/wstx/io/SystemId;Ljava/io/InputStream;)Lcom/ctc/wstx/io/StreamBootstrapper; 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.apache.hadoop.conf.Configuration.parse(Configuration.java:3079) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.apache.hadoop.conf.Configuration.parse(Configuration.java:3062) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.apache.hadoop.conf.Configuration.getStreamReader(Configuration.java:3158) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:3116) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.apache.hadoop.conf.Configuration.loadResources(Configuration.java:3089) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.apache.hadoop.conf.Configuration.loadProps(Configuration.java:2967) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.apache.hadoop.conf.Configuration.getProps(Configuration.java:2949) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.apache.hadoop.conf.Configuration.get(Configuration.java:1267) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.apache.hadoop.conf.Configuration.getTrimmed(Configuration.java:1321) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.apache.hadoop.conf.Configuration.getInt(Configuration.java:1547) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.apache.hadoop.fs.FileSystem$Cache.<init>(FileSystem.java:3658) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.apache.hadoop.fs.FileSystem.<clinit>(FileSystem.java:205) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.apache.hadoop.hive.conf.valcoersion.JavaIOTmpdirVariableCoercion.<clinit>(JavaIOTmpdirVariableCoercion.java:37) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.apache.hadoop.hive.conf.SystemVariables.<clinit>(SystemVariables.java:37) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.apache.hadoop.hive.conf.HiveConf$ConfVars.<init>(HiveConf.java:5830) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.apache.hadoop.hive.conf.HiveConf$ConfVars.<init>(HiveConf.java:5811) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.apache.hadoop.hive.conf.HiveConf$ConfVars.<clinit>(HiveConf.java:484) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.apache.hive.jdbc.Utils$JdbcConnectionParams.<clinit>(Utils.java:220) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.apache.hive.jdbc.Utils.extractURLComponents(Utils.java:464) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.apache.hive.jdbc.Utils.parseURL(Utils.java:445) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.apache.hive.jdbc.HiveConnection.<init>(HiveConnection.java:296) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.apache.hive.jdbc.HiveConnection.<init>(HiveConnection.java:284) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.apache.hive.jdbc.HiveDriver.connect(HiveDriver.java:94) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at java.sql.DriverManager.getConnection(DriverManager.java:664) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at java.sql.DriverManager.getConnection(DriverManager.java:208) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.pentaho.di.core.database.Database.connectUsingClass(Database.java:589) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.pentaho.di.core.database.Database.normalConnect(Database.java:481) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.pentaho.di.core.database.Database.connect(Database.java:389) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.pentaho.di.core.database.Database.connect(Database.java:360) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.pentaho.di.trans.steps.sql.ExecSQL.init(ExecSQL.java:297) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at org.pentaho.di.trans.step.StepInitThread.run(StepInitThread.java:69) 2025/08/01 10:00:55 - 执行SQL脚本.0 - at java.lang.Thread.run(Thread.java:748) 2025/08/01 10:00:55 - 转换 1 - ERROR (version 9.4.0.0-343, build 0.0 from 2022-11-08 07.50.27 by buildguy) : 步骤 [执行SQL脚本.0] 初始化失败!
最新发布
08-02
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值