最近有点忙,加上一直在捣鼓eclipse上的Hadoop插件,原本计划写的如何安装Hadoop伪分布式的文章只能推迟了。
先mark上几个命令,是在Mac终端上运行wordCount的命令:
启动Hadoop进程:$ sh stop-all.sh
进入安装目录:$ cd /Applications/Hadoop/hadoop-2.8.0
新建hdfs目录:$ bin/hdfs dfs -mkdir -p output
显示目录内容:$ hadoop fs -ls /user/zhanghaorui/output
新建输入目录:$ bin/hdfs dfs -mkdir -p iutput
拷贝本地文件到hdfs系统:$ bin/hdfs dfs -put ./input/file0*.txt input
删除目录:$ bin/hdfs dfs -rmdir output
运行mapreduce程序:$ hadoop jar /Applications/Hadoop/hadoop-2.8.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar wordcount input output
显示目录文件:$ hadoop fs -ls /user/zhanghaorui/output
打开结果文件:$ hadoop fs -cat /user/zhanghaorui/output/part-r-0000
拷贝文件:$ hadoop fs -copyFromLocal ./input/file01.txt /user/zhanghaorui/input02
停止Hadoop进程:$ sh start-all.sh
另外,出现节点无法启动的情况,处理办法之一是:$ hadoop [namenode/datanode] -format