hadoop-wordcount 实验总结

最新推荐文章于 2021-06-22 15:36:04 发布

我的脚步声

最新推荐文章于 2021-06-22 15:36:04 发布

阅读量3.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop

本文链接：https://blog.youkuaiyun.com/wodejiaozj/article/details/50157853

hadoop 专栏收录该内容

1 篇文章

订阅专栏

本文分享了初次使用 Hadoop 进行 WordCount 实验的过程，包括遇到的问题及解决方法，如 DataNode 节点未启动、Namenode 和 DataNode 的 clusterID 不一致导致的问题以及文件导入 DFS 中的步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop-wordcount实验

初次使用hadooop感觉还可以，加油！废话不写，主要问题点如下：

1，初始检查hadoop平台的正常，

hadoop@hadoop001:~/hadoop$ jps
7727 ResourceManager
7967 NodeManager
7552 SecondaryNameNode
9917 Jps
7016 NameNode
7248 DataNode

过程中出现DataNode 节点没拉起，查看log后百度，发现自己多次格式化namenode造成的，namenode的clusterID和datanode的clusterid不一致导致的，解决办法：删除data的文件夹，后重新格式化。有人说换可以直接该动datanode的clusterid使之和namenode的clusterid一致，不过我没试验。

2，接下来就是打文件导入dfs中，然后编译后使用指令./bin/hadoop jar /tmp/hadoop-examples-1.2.0.jar wordcount /input /out

（有的路径格式不一样）

参考博客：http://blog.youkuaiyun.com/twlkyao/article/details/17382449

3结果：

hadoop@hadoop001:~$ cat part-r-00000 
:wq	1
WordCount	1
count	2
guo	3
guoshuai 1
long	8
zhao	2
zhaozhaozhao	1

4，自己缺少代码的练习，自己--小白鼠。