MapReduce windows本地提交到yarn运行

最新推荐文章于 2023-05-10 09:22:00 发布

原创最新推荐文章于 2023-05-10 09:22:00 发布 · 269 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

Hadoop 专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍了如何使用Java API进行Hadoop作业的配置与提交，包括设置跨平台提交、运行在YARN上的配置、ResourceManager地址设定、HDFS默认文件系统路径配置，以及通过setJar方法指定本地jar包路径，确保业务实现类能够被正确加载。

Configuration configuration = new Configuration();
configuration.set("mapreduce.app-submission.cross-platform", "true");#跨平台提交
configuration.set("mapreduce.framework.name", "yarn");#运行在yarn上
configuration.set("yarn.resourcemanager.hostname", "bigdata131");#resourcemanager地址
//运行集群模式时，数据也必须从hdfs中存取
configuration.set("fs.defaultFS", "hdfs://bigdata131:9000/");
Job job = Job.getInstance(configuration);
job.setJar("D:\\hangyi\\bluewhaleinfo\\testmr\\target\\testmr-1.0-SNAPSHOT.jar");
#job.setJar的值为当前项目打包后jar包所在的路径,因为需要将jar包上传到hdfs上,
如果没有设置就会找不到我们的业务实现类(ClassNotFondException)