运行Hadoop0.20.203例子的一般流程

本文介绍了使用Hadoop进行数据处理的具体步骤,包括格式化nameNode、启动集群、上传文件到HDFS、运行WordCount示例并查看结果等关键操作。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

运行Hadoop例子的一般流程:

Linux命令如下:

1.格式化nameNode

$ bin/hadoop namenode -format

2.启动集群:

$ bin/start-all.sh

3. 将已存在于Ubuntu文件系统中的输入文件放到 HDFS 文件系统的/home/testin目录下(这个文件目录在Ubuntu文件系统中找不到,因为它是存在于HDFS系统中的)
$ bin/hadoop dfs -put  /usr/test.txt  /home/testin

4.运行jar包,wordcount为例子名,后面的两个目录分别为HDFS系统的存放统计文件的输入目录,以及结果的存放目录,后者不需要提前创建。
$ bin/hadoop jar hadoop-examples-*.jar wordcount /home/testin /home/testout
【bin/hadoop fs -rm(r) 可以删除hdfs上的文件(夹)多次运算时,要手动删除输出目录,或者输入不同的文件夹名】

5.查看计算结果,其中包含3个文件
$ bin/hadoop fs -ls /home/testout

6.我们的计算结果在part-r-00000文件中,查看文件内容
$ bin/hadoop fs -cat /home/testout/part-r-00000

7.结束,记得关闭集群:
$ bin/stop-all.sh



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值