伪分布式Hadoop系统上的wordCount实现命令

本文介绍在Mac系统上使用Hadoop进行wordCount任务的具体步骤,包括启动和停止Hadoop进程、创建和操作HDFS目录、运行MapReduce程序等。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

最近有点忙,加上一直在捣鼓eclipse上的Hadoop插件,原本计划写的如何安装Hadoop伪分布式的文章只能推迟了。

先mark上几个命令,是在Mac终端上运行wordCount的命令:


启动Hadoop进程:$ sh stop-all.sh

进入安装目录:$ cd /Applications/Hadoop/hadoop-2.8.0

新建hdfs目录:$ bin/hdfs dfs -mkdir -p output

显示目录内容:$ hadoop fs -ls /user/zhanghaorui/output

新建输入目录:$ bin/hdfs dfs -mkdir -p iutput

拷贝本地文件到hdfs系统:$ bin/hdfs dfs -put ./input/file0*.txt input

删除目录:$ bin/hdfs dfs -rmdir output

运行mapreduce程序:$ hadoop jar /Applications/Hadoop/hadoop-2.8.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar wordcount input output

显示目录文件:$ hadoop fs -ls /user/zhanghaorui/output

打开结果文件:$ hadoop fs -cat /user/zhanghaorui/output/part-r-0000

拷贝文件:$ hadoop fs -copyFromLocal ./input/file01.txt /user/zhanghaorui/input02

停止Hadoop进程:$ sh start-all.sh


另外,出现节点无法启动的情况,处理办法之一是:$ hadoop [namenode/datanode] -format

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值