本文详细介绍了Hadoop的三大核心组件：HDFS用于海量数据存储，MapReduce负责海量数据分析，YARN进行资源调度。文中还讲解了如何通过web服务访问HDFS，默认端口为50070，并演示了启动Hadoop集群以及运行MapReduce样例程序计算圆周率的过程。
hadoop分为hdfs（海量数据存储）、mapreduce（海量数据分析，分为map和reduce）和yarn（资源调度）三大部分。
hdfs有一个网页，它提供了一个web服务。默认端口是50070。
通过“Browse the file system”可浏览hdfs的文件系统
使用start-all.sh或(start-dfs.sh + start-yarn.sh)命令开启hadoop，此处楼主用了两个节点，主节点为master，从节点为slave1。
找到hadoop的安装路径
然后找到其下的share文件夹，之后一路cd到mapreduce文件夹下
从上图可以看到该文件夹下有一个包含了mapreduce样例程序的jar包，运行一个样例程序pi,计算圆周率，取样数越大，精度越高。
结果如下：
扫一扫
401
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
