提交MapReduce到YARN中去执行

本文介绍了如何在Hadoop中使用内置的MapReduce程序,如wordcount进行单词计数和pi通过蒙特卡洛方法求圆周率。详细步骤包括查看内置jar包、创建和上传文件、提交wordcount任务以及调整pi计算的精度和速度。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Hadoop官方内置了一些预置的MapReduce程序代码,我们无需编程,只需要通过命令即可使用。

常用的有2个MapReduce内置程序:

  • wordcount:单词计数程序。

统计指定文件内各个单词出现的次数

  • pi:求圆周率

通过蒙特卡罗算法(统计模拟法)求圆周率

一、查看Hadoop内置的MapReduce示例代码

1.

2.

3.这样我们可以看到内置的jar包

 

 二、提交wordcount试例程序

 

  1.  我们可以先通过vim编辑器创建一个叫words.txt的文件

        2.简单的写一点内容到里面去,通过空格分隔

 

        3.首先通过命令查看hdfs文件系统

 然后创建一个input和output的文件来使用

将words.txt上传到Hadoop上

上传完成之后我们来提交MapReduce程序

先找到我们的jar包的文件路径

 

 回车提交到yarn中运行,可以去浏览器hadoop1:8088中查看

 ​​​​​​​

 

三、求圆周率

其中1000这个样本数越大求得值越准确,但是执行的越慢

这样我们将样本数加到10000

 

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值