hadoop中的pi值计算

最新推荐文章于 2023-10-14 00:22:53 发布
原创 最新推荐文章于 2023-10-14 00:22:53 发布 · 4.5k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pi值计算 #Hadoop

本文详细阐述了在Hadoop环境中进行操作时应注意的事项，并通过一个实例展示了如何进行简单的Pi运算。强调了确保操作环境正确的重要性，以避免出现意外的exception导致数据节点挂载问题。

注意在hadoop中，操作一定要规范。不规范的操作引起exception满天飞·······

其实hadoop中的pi值运算还是挺简单的。在这里主要讲一下这个例子中要注意的地方：

[hadoop@master hadoop-1.0.3]$ hadoop jar hadoop-examples-1.0.3.jar pi 10 100

确保是在hadoop-1.0.3目录下，因为hadoop-examples-1.0.3.jar是在这个目录下的。如果在其他目录下运行，会出错，最后导致datanode挂掉(注意，虽然可能datanode使用JPS看不出来，但是你改正错误以后，还是能正常运行相应的jar包的)

如何用hadoop自带的包计算pi值
QAQ的博客
04-16 5797
一、计算pi的值的原理 通过hadoop计算pi值确实是一件很酷的事情，我想你可能会有疑问，（Hadoop不是一个分布式计算的处理数据的吗？）当然，计算它能处理大量数据，我们可以通过这种方式来计算pi的值。究竟是怎么运算出它的值，大家请看下面： 通过万能的google，找到了它的原理图： 这是通过扔飞镖计算概率，在第二象限里面，相当于是长款各自为1的正...
hadoop案例测试——pi值、wordcount函数，hadoop不支持本地库问题
amateur_RD的博客
08-29 1427
前言：本文案例测试所需环境都是在前面几篇blog的基础上进行的，具体内容请查看： http://blog.youkuaiyun.com/u012829611/article/details/77678609 http://blog.youkuaiyun.com/u012829611/article/details/776518551.使用hadoop估算pi的值[hadoop@localhost hadoop-2.7.
用hadoop计算pi
ww的博客
03-18 1324
安装hadoop集群后执行 hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar pi 10 10000 [hadoop@Master hadoop]$ hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar pi...
用hadoop计算PI值
scalad
01-01 6644
一、计算PI值的方式与原理       百度一下，计算PI的方法还真不少。但在hadoop examples代码中的注释写的是：是采用 Quasi-Monte Carlo 算法来估算PI的值。        维基百科中对Quasi-Monte Carlo的描述比较理论，好多难懂的公式。        好在google了一把，找到了斯坦福大学网站上的一篇文章：《通过扔飞镖也能得
Hadoop环境搭建（计算PI和运行wordcount程序）
m0_68499781的博客
10-14 1561
云计算课程实验手册-Hadoop 环境搭建
阿里云（轻量级Ubuntu 16.04 ）服务器搭建Hadoop伪分布式集群及实现pi值的计算
MuuuuYi的博客
06-07 1362
环境：在ubuntu16.04　　　　jdk1.8.0_171　　　　hadoop 2.8.4一.租用服务器https://www.aliyun.com/?spm=5176.2020520001.aliyun_topbar.1.69864bd3NRoSf9二.安装jdk主要有两种方式：（1）通过ppa（源）方式安装（建议选择第一种，简单）（2）通过下载官网安装包1.添加ppa (博主用的最高权限r...
hadoop运行计算pi或running job卡住或 map 0% reduce 0%
空空说技术的博客
04-15 4901
1.出现MapReduce任务运行到running job卡住 一：如下异常： Starting Job 16/06/30 01:15:34 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.10.50:8032 16/06/30 01:15:35...
注意地方hadoop中的pi值计算
weixin_33676492的博客
05-04 230
题记：写这篇博客要主是加深自己对注意地方的认识和总结实现算法时的一些验经和训教，如果有错误请指出，万分感谢。     注意在hadoop中，作操一定要标准。不标准的作操引发exception满天飞·······     其实hadoop中的pi值运算还是挺单简的。在这里主要讲一下这个例子中要注意的地方：     每日一道理 那蝴蝶花依然花开花落，而我心中的蝴蝶早已化作雄鹰飞向了广阔的蓝天...
使用Hadoop自带的例子pi计算圆周率
热门推荐
godadream的博客
08-05 2万+
Hadoop中自带的hadoop-mapreduce-examples-2.7.6.jar含有一些事例，本文将用pi计算圆周率。若想了解其计算原理，参考：http://thinkinginhadoop.iteye.com/blog/710847。 具体步骤如下： 1. 启动Hadoop     切换到Hadoop安装目录下的sbin目录下执行./start-all.sh命令     或执行...
Hadoop学习之实操练习（wordcount和pi运算）
mumanquan1的博客
08-17 732
前面花了那么多的精力准备HDFS、MapReduce和yarn的环境，那么他们具体可以做什么事情呢？TODO：这个Example文件内部的实现方式是什么？让我们存疑在这里，继续学习！本文将用Hadoop自带的实例进行单词数量统计和π圆周率计算的逻辑推演。首先创建一个文件，里面随便输入一些单词，并将这个文件传到HDFS系统中。大家是不是都迫不及待的想看看效果了。
Hadoop自带jar运行wordcount和PI
共同进步
11-28 2614
wordcount 数单词程序 1， 切换到/opt/Hadoop-2.6.5下 Cd /opt/Hadoop-2.6.5 2， 使用jar hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /input.txt /output/ 对input.txt 里的文件进行统计 input.txt的内容为 3,查看结果 Hdfs dfs -ls /output/ 一个success表示成功， 一个pa
hadoop集群算PI值出现current time is .... found ....
BD_ZZQ的博客
09-19 590
出现此错误，原因是主从节点的时间不同步导致的 解决方法就是配置时间同步，在终端切换为root用户 配置时钟需要虚拟机联网，如果修改为静态ip是不能联网的，解决方法 http://blog.youkuaiyun.com/qq_33624294/article/details/52449470 1.配置自动时钟同步 输入命令：crontab -e 出现一个窗口后按i使其进入插入模式，插入如下内容
使用MapReduce计算Pi
墨染百城
03-11 5694
总体思路核心思想是向以(0,0),(0,1),(1,0),(1,1)为顶点的正方形中投掷随机点。统计(0.5,0.5)为圆心的单位圆中落点占总落点数的百分比，即可算出单位圆的面积Pi/4，然后乘以4即得到Pi的近似值。从输入文件中读入一行内容。每一行都是一个数字，代表随机投掷那么多点来估算Pi的值。在Mapper中则随机生成指定数量的随机点(x,y)。x和y的范围在0-1之间。然后求出(x,y)与(
记一次Hadoop安装部署过程
JonnyJiang-zh的博客
01-07 1505
实验名称：Hadoop安装部署 一、实验环境： 虚拟机数量：3个 （1个master，2个slave：slave01，slave02） 主节点master信息： 操作系统：CentOS7.5 软件包位置：/home/zkpk/tgz 数据包位置：/home/zkpk/experiment 已安装软件：无 从节点slave01信息： 操作系统：CentOS7.5 软件包位置：/home/zkpk/tgz 数据包位置：/home/zkpk/experiment 已安装软件：无
hadoop自带的jar包计算圆周率pi
weixin_34088583的博客
08-05 2547
2019独角兽企业重金招聘Python工程师标准>>> ...
关于在虚拟机上运行hadoop计算pi值卡在running job
qq_42767647的博客
04-20 793
最近在学习hadoop，在虚拟机上安装hadoop后，计算pi值时卡在running job那里，即使数值很小，运行都很卡很慢，我在网上找了很多方法，对我都没效。最后我发现问题出在我给虚拟机分配的内存太小了，安装虚拟机时没在意，都按默认的来，默认给了2G，然后我改为4G，解决了。特此来记录一下。 ...
Hadoop执行MapReduce作业的过程-案例-计算pi的值
星月情缘的博客
01-07 5792
           在安装好了Hadoop集群后，我们是不是马上想去实践一下，做个例子来测试它是否符合我们的要求呢。这样，我们使用系统的例子来测试，也就最常见的求PI 的值。           首先要启动好集群。hdfs 和yarn相关进程都启动，并且正常，才能执行mapreduce作业，因为执行作业需要调用资源，就必须启动yarn 服务。            以上是正常的。 我们就可...
hadoop计算pi的源码及注释
06-12
以下是Hadoop计算Pi的源代码及注释： ```java // PiMapper.java import java.io.IOException; import java.util.Random; import org.apache.hadoop.io.*; import org.apache.hadoop.mapreduce.*; public class PiMapper extends Mapper<Object, Text, IntWritable, IntWritable> { private final static IntWritable one = new IntWritable(1); private static Random rndm = new Random(); public void map(Object key, Text value, Context context) throws IOException, InterruptedException { int numThrows = 10000; // 每个Mapper的投掷次数 int inCircle = 0; // 落在圆内的次数 for (int i = 0; i < numThrows; i++) { // 在 [-1, 1] 的范围内随机生成一个点 double x = 2 * rndm.nextDouble() - 1.0; double y = 2 * rndm.nextDouble() - 1.0; // 判断该点是否落在圆内 if (x * x + y * y <= 1.0) { inCircle++; } } // 将落在圆内的次数作为Key，1作为Value写入Context context.write(new IntWritable(inCircle), one); } } ``` ```java // PiReducer.java import java.io.IOException; import org.apache.hadoop.io.*; import org.apache.hadoop.mapreduce.*; public class PiReducer extends Reducer<IntWritable, IntWritable, IntWritable, DoubleWritable> { private DoubleWritable result = new DoubleWritable(); public void reduce(IntWritable key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; int count = 0; // 统计Key对应的Value的总和 for (IntWritable val : values) { sum += val.get(); count++; } // 计算Pi的近似值 double pi = ((double) sum / (double) count) * 4.0; // 将近似值作为Value写入Context result.set(pi); context.write(key, result); } } ``` ```java // PiDriver.java import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.*; import org.apache.hadoop.mapreduce.*; public class PiDriver { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "Pi Estimation"); // 设置Mapper job.setMapperClass(PiMapper.class); job.setMapOutputKeyClass(IntWritable.class); job.setMapOutputValueClass(IntWritable.class); // 设置Reducer job.setReducerClass(PiReducer.class); job.setOutputKeyClass(IntWritable.class); job.setOutputValueClass(DoubleWritable.class); // 设置InputFormat job.setInputFormatClass(TextInputFormat.class); // 设置OutputFormat job.setOutputFormatClass(TextOutputFormat.class); // 设置输入路径和输出路径 FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); // 提交作业并等待完成 System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 注释： 1. `PiMapper`类是一个Mapper类，它继承自`Mapper<Object, Text, IntWritable, IntWritable>`。它的输入键是`Object`，输入值是`Text`，输出键是`IntWritable`，输出值是`IntWritable`。 2. 在`PiMapper`类中，我们首先定义了一个`IntWritable`类型的常量`one`，它的值为1。接着，我们使用`java.util.Random`类创建了一个随机数生成器`rndm`。 3. `map`方法是`Mapper`类中的一个重要方法，它的作用是将输入键值对转换为输出键值对。在`PiMapper`类中，我们将每个Mapper的投掷次数设置为10000，然后在这个范围内随机生成一个点，判断该点是否落在圆内。如果是，我们将`inCircle`变量加1。最后，将落在圆内的次数作为Key，1作为Value写入Context。 4. `PiReducer`类是一个Reducer类，它继承自`Reducer<IntWritable, IntWritable, IntWritable, DoubleWritable>`。它的输入键是`IntWritable`，输入值是`IntWritable`，输出键是`IntWritable`，输出值是`DoubleWritable`。 5. 在`PiReducer`类中，我们首先定义了一个`DoubleWritable`类型的变量`result`。在`reduce`方法中，我们统计了Key对应的Value的总和和Value的数量。然后，根据公式计算Pi的近似值，将近似值作为Value写入Context。 6. `PiDriver`类是一个驱动程序。在`main`方法中，我们首先创建了一个`Configuration`对象和一个`Job`对象。然后，我们设置了Mapper、Reducer、InputFormat和OutputFormat。接着，我们设置了输入路径和输出路径。最后，我们提交作业并等待完成。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

帅气的东哥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值