mapreduce

最新推荐文章于 2019-11-14 11:56:24 发布

weixin_30488313

最新推荐文章于 2019-11-14 11:56:24 发布

阅读量49

点赞数

CC 4.0 BY-SA版权

文章标签：大数据开发工具 java

原文链接：http://www.cnblogs.com/mlj5288/p/4440369.html

本文详细介绍了如何通过Eclipse将编写的代码提交至Hadoop的JobTracker中执行的具体步骤，并解释了Java类型与Hadoop基本类型之间的转换方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问：在eclipse中的写的代码如何提交作业到JobTracker中的哪？
答：(1)在eclipse中调用的job.waitForCompletion(true)实际上执行如下方法
     connect();
  info = jobClient.submitJobInternal(conf);
(2)在connect()方法中，实际上创建了一个JobClient对象。
    在调用该对象的构造方法时，获得了JobTracker的客户端代理对象JobSubmissionProtocol。
    JobSubmissionProtocol的实现类是JobTracker。
(3)在jobClient.submitJobInternal(conf)方法中，调用了
  JobSubmissionProtocol.submitJob(...),
  即执行的是JobTracker.submitJob(...)。
1.Hadoop的数据类型要求必须实现Writable接口。
2.java基本类型与Hadoop常见基本类型的对照
Long LongWritable
Integer IntWritable
Boolean BooleanWritable
String Text
问：java类型如何转化为hadoop基本类型？
答：调用hadoop类型的构造方法，或者调用set()方法。
  new LongWritable(123L);
问：hadoop基本类型如何转化为java类型？
答：对于Text，需要调用toString()方法，其他类型调用get()方法。