hadoop2.7.3用mapreduce计算pi值

最新推荐文章于 2023-06-05 11:58:51 发布

weixin_34377065

最新推荐文章于 2023-06-05 11:58:51 发布

阅读量640

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 python

原文链接：https://my.oschina.net/u/3264690/blog/1153892

本文介绍如何使用Hadoop MapReduce运行示例程序来计算圆周率π的方法。通过指定Map任务的数量和取样数量，可以运行hadoop-mapreduce-examples-2.7.3.jar中的pi示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

首先我们找到hadoop-mapreduce-examples-2.7.3.jar，在hadoop-2.7.3/share/hadoop/mapreduce下。

进入该目录运行hadoop jar hadoop-mapreduce-examples-2.7.3.jar pi 2 5

第一个参数2是指定map的个数

第二个参数5是取样的个数

转载于:https://my.oschina.net/u/3264690/blog/1153892

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_34377065

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Hadoop执行MapReduce作业的过程-案例-计算pi的值

星月情缘的博客

01-07

5728

在安装好了Hadoop集群后，我们是不是马上想去实践一下，做个例子来测试它是否符合我们的要求呢。这样，我们使用系统的例子来测试，也就最常见的求PI 的值。首先要启动好集群。hdfs 和yarn相关进程都启动，并且正常，才能执行mapreduce作业，因为执行作业需要调用资源，就必须启动yarn 服务。以上是正常的。我们就可...

【MapReduce开发】计算PI

Amber_amber的专栏

08-13

3110

MapReduce无法进行递归和迭代式的计算，所以目前基于MapReduce计算PI的算法只有一种，就是Stanford在一篇论文里提到过的一种掷飞镖计算方法。原文我在网上没有找到，所以就把网友的文章截图附一下吧：

参与评论您还未登录，请先登录后发表或查看评论

java hadoop例子_Hadoop实例之Java代码实现利用MapReduce求π值

weixin_33617691的博客

02-24

414

packagemapreduce;importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.DoubleWritable;importorg.apache.hadoop.io.IntWritable;i...

Hadoop2.6.0 mapreduce 例子

Rocky

10-17

2586

Hadoop2.6.0 mapreduce 例子

python+mapreduce实现计算pi值

weixin_33809981的博客

11-02

263

为什么80%的码农都做不了架构师？>>> ...

hadoop2.7.3版本MapReduce例子

过期腊肉

07-25

704

前言：每次学习新东西，或者私下兴趣大发搞点东西，总是会出现问题。我是强迫症患者，手机电脑的系统和软件都要升级到最新，不升不舒服！在学习一些技术的时候，按照视频也好，书本上，或者帖子也罢，总是会出现问题，教程的软件版本很少有新版本的，我的版本都是比较高的。这里记录一下我所遇到的问题，希望帮助同样患者朋友。简要：这里简单的写个wordcount例子，不建议windows本地运行，要么lin

Linux Hadoop 2.7.3 集群部署

zslomo的博客

10-30

2163

一、说明：到写本文时间为止，3.0没有发布稳定的版本，所以本文基于2.7.3 系统为centOS ，用 debian核心的linux（比如ubuntu）基本设置相同，只要把yum换成apt-get，推荐使用更稳定的centOS二、集群部署1、准备理论实验室没有服务器，我利用自己的电脑和舍友的电脑搭建了1个namenode 7个datanode的分布式集群，虚拟机为VMware Workstat

hadoop案例测试——pi值、wordcount函数，hadoop不支持本地库问题

amateur_RD的博客

08-29

1411

前言：本文案例测试所需环境都是在前面几篇blog的基础上进行的，具体内容请查看： http://blog.csdn.net/u012829611/article/details/77678609 http://blog.csdn.net/u012829611/article/details/776518551.使用hadoop估算pi的值[hadoop@localhost hadoop-2.7.

hadoop2.7.3完全分布式安装-docker-hive1.2.1-hiveserver2-weave1.9.3

usst1112070124的博客

03-12

3667

0.环境介绍：１）ubuntu14.04 docker镜像地址：https://github.com/gaojunhao/ubuntu14.04 2)hadoop2.7.3 地址：http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3-src.tar.gz 3)JDK1.8 这里下载的

如何用hadoop自带的包计算pi值

QAQ的博客

04-16

5749

一、计算pi的值的原理通过hadoop计算pi值确实是一件很酷的事情，我想你可能会有疑问，（Hadoop不是一个分布式计算的处理数据的吗？）当然，计算它能处理大量数据，我们可以通过这种方式来计算pi的值。究竟是怎么运算出它的值，大家请看下面：通过万能的google，找到了它的原理图：这是通过扔飞镖计算概率，在第二象限里面，相当于是长款各自为1的正...

hadoop-mapreduce-examples-2.7.1-sources.jar

08-14

hadoop中的demo，wordcount列子用到的JAR包用法： # 在容器里运行WordCount程序，该程序需要2个参数：HDFS输入目录和HDFS输出目录 hadoop jar hadoop-mapreduce-examples-2.7.1-sources.jar org.apache.hadoop.examples.WordCount input output

mapreduce案例：获取PI的值

weixin_30835933的博客

09-03

249

mapreduce案例：获取PI的值 * content:核心思想是向以(0,0),(0,1),(1,0),(1,1)为顶点的正方形中投掷随机点。 * 统计(0.5,0.5)为圆心的单位圆中落点占总落点数的百分比，即可算出单位圆的面积Pi/4， * 然后乘以4即得到Pi的近似值。从输入文件中读入一行内容。每一行都是一个数字， * 代表随机投掷那么多点来估算Pi的值。在Mapper中则...

MapReduce分布式计算实例(pi程序、wordcount程序、grep程序)

星星的博客

05-14

1997

MapReduce分布式计算MapReduce分布式计算前期准备MapReduce的圆周率计算方法MapReduce的Wordcount计算方法MapReduce的正则表达式匹配计算方法 MapReduce分布式计算前期准备 1.启动Hadoop ./sbin/start-dfs.sh 2.在桌面新建word.txt文件，并使用gedit编辑器在其中添加英文单词 3.在hdfs目录下创建input1和input2文件夹 4.将桌面上的word.txt文件拷贝到input1目录下 5.将/usr/

Hadoop之MapReduce概述

yanghao201607030101的博客

06-05

1852

Hadoop之mapreduce概述，描述相关工作机制和原理

【大数据笔记】- Hadoop MapReduce API

foxofwind的博客

11-23

1561

一.基础环境：本文默认了你已经有一点的java基础，本机环境已安装java、maven、ide，配置好了相关的环境变量，且已经有可用的hadoop环境，已经用idea新建一个java maven项目。还要有一台linux客户机，可执行hadoop命令的。以上环境有没完成的，自行去百度完成。二.pom.xml引入包： <dependency> <groupId>org.apache.hadoop</groupId> ...

使用Hadoop自带的例子pi计算圆周率

热门推荐

godadream的博客

08-05

2万+

Hadoop中自带的hadoop-mapreduce-examples-2.7.6.jar含有一些事例，本文将用pi计算圆周率。若想了解其计算原理，参考：http://thinkinginhadoop.iteye.com/blog/710847。具体步骤如下： 1. 启动Hadoop 切换到Hadoop安装目录下的sbin目录下执行./start-all.sh命令或执行...

[笔记]MapReduce入门

代码有毒的博客

04-12

2480

MapReduce原理分布式运算思想场景需求有一个日志文件，记录了一些搜索关键词搜索的记录，xx.log 按照搜索时间搜索关键词 ….. 等等属性为规则的一行行排列，使用分布式运行大概有以下几个步骤： 1：任务资源的分发（jar文件，运算程序） 1.1：服务器运算资源对各个任务的分配 2：任务在各个节点上设置运行环境，启动执行 3：监视各个节点上任

Hadoop-2.9.2运行WordCount.jar实现单词计数功能

sailorPan

12-03

647

编写WordCount.java文件 //Java Code import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.ap...

[hadoop]3.0.0以上版本运行hadoop-mapreduce-examples的pi官方示例（踩坑日记）

新一的技术笔记

01-26

8684

前言： hadoop环境都配置好了。运行官方示例 1. 下载官方示例的jar 2. 运行命令hadoop jar hadoop-mapreduce-examples-3.3.0.jar pi 5 5 2.1 遇到问题：任务卡住 Number of Maps = 5 Samples per Map = 5 2021-01-26 16:49:28,195 WARN util.NativeCodeLoader: Unable to load native-hadoop library for you

Hadoop 2.7.3搭建与MapReduce实战教程

实验的主要目标有两个：一是让学生掌握Hadoop分布式计算平台的搭建和配置，包括理解其核心组件如HDFS（Hadoop Distributed File System）和MapReduce的工作原理；二是通过实际操作，了解如何提交和运行MapReduce作业...