hadoop分布式的启动和wordcount实例

最新推荐文章于 2025-12-05 16:58:45 发布

原创最新推荐文章于 2025-12-05 16:58:45 发布 · 298 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#分布式 #实例

java 专栏收录该内容

2 篇文章

订阅专栏

本文详细介绍了如何使用Hadoop搭建集群，并通过Wordcount实例演示了数据处理流程。主要内容包括：集群启动与验证步骤，常见启动失败问题及解决方法，以及成功启动后通过Web界面查看状态的方法。此外，还提供了Wordcount实例的具体操作步骤，从创建测试文件到运行程序并获取结果的全过程。

1:格式化namenode

hadoop namenode -format

2:启动
   start-all.sh

3:验证
   jps
   查看当前hadoop进程
   正确启动后
   master
     namenode
     secondarynamenode
     tasktracker
     jps
   slave
     datanode
     jobtracker
     jps

4:启动不成功的问题(自己遇到的)
首先要关闭防火墙
第一个是namenode没有启动成功，原因是没有格式化namenode
解决方法:handoop namenode -format 格式化后重新start-all.sh
第二个是datanode没有启动成功，原因不太清楚，不过在网上找到了解决办法，类似于缓存一样的原因
解决办法:删除slave中的tmp目录，然后重新建立tmp目录
mkdir tmp
cd tmp
mkdir data
mkdir name

5:启动成功后可以登录网页查看
http://master:50030/jobtracker.jsp
http://master:50070

6:wordcount实例
hadoop自带的实例hadoop-examples-1.1.2.jar里面包含Wordcount程序
创建两个文件test1.txt和test2.txt，内容分别问hello world和hello hadoop
hadoop fs -mkdir ./input
hadoop fs -mkdir ./out
hadoop fs -put test1.txt ./input
hadoop fs -put test2.txt ./input
hadoop jar hadoop-examples-1.1.2.jar Wordcount input out

hadoop fs -ls ./out

hadoop fs -cat ./out/*
可以看到结果