运行Hadoop0.20.203例子的一般流程

lingzhm

于 2014-12-11 10:38:19 发布

阅读量883

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Hadoop开发文章标签： hdfs hadoop ubuntu linux dfs

本文链接：https://blog.youkuaiyun.com/lingzhm/article/details/41863479

Hadoop开发专栏收录该内容

8 篇文章

订阅专栏

本文介绍了使用Hadoop进行数据处理的具体步骤，包括格式化nameNode、启动集群、上传文件到HDFS、运行WordCount示例并查看结果等关键操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

运行Hadoop例子的一般流程：

Linux命令如下：

1.格式化nameNode

$ bin/hadoop namenode -format

2.启动集群：

$ bin/start-all.sh

3. 将已存在于Ubuntu文件系统中的输入文件放到 HDFS 文件系统的/home/testin目录下(这个文件目录在Ubuntu文件系统中找不到，因为它是存在于HDFS系统中的)
$ bin/hadoop dfs -put  /usr/test.txt  /home/testin

4.运行jar包，wordcount为例子名，后面的两个目录分别为HDFS系统的存放统计文件的输入目录，以及结果的存放目录，后者不需要提前创建。$ bin/hadoop jar hadoop-examples-*.jar wordcount /home/testin /home/testout
【bin/hadoop fs -rm(r) 可以删除hdfs上的文件(夹)多次运算时，要手动删除输出目录，或者输入不同的文件夹名】

5.查看计算结果，其中包含3个文件
$ bin/hadoop fs -ls /home/testout

6.我们的计算结果在part-r-00000文件中，查看文件内容
$ bin/hadoop fs -cat /home/testout/part-r-00000

7.结束，记得关闭集群：
$ bin/stop-all.sh