MapReduce windows本地提交到yarn运行

最新推荐文章于 2023-05-10 09:22:00 发布

江湖峰哥

最新推荐文章于 2023-05-10 09:22:00 发布

阅读量253

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Hadoop 文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/querydata_boke/article/details/105236419

Hadoop 专栏收录该内容

6 篇文章

订阅专栏

Configuration configuration = new Configuration();
configuration.set("mapreduce.app-submission.cross-platform", "true");#跨平台提交
configuration.set("mapreduce.framework.name", "yarn");#运行在yarn上
configuration.set("yarn.resourcemanager.hostname", "bigdata131");#resourcemanager地址
//运行集群模式时，数据也必须从hdfs中存取
configuration.set("fs.defaultFS", "hdfs://bigdata131:9000/");
Job job = Job.getInstance(configuration);
job.setJar("D:\\hangyi\\bluewhaleinfo\\testmr\\target\\testmr-1.0-SNAPSHOT.jar");
#job.setJar的值为当前项目打包后jar包所在的路径,因为需要将jar包上传到hdfs上,
如果没有设置就会找不到我们的业务实现类(ClassNotFondException)