Hadoop tutorial - 3 Hello MapReduce- 2015-3-30

2019独角兽企业重金招聘Python工程师标准>>>

测试HDFS

上传文件到hdfs hadoop分布式文件系统

hadoop fs -put /opt/jdk.gz hdfs://master:9000/jdk

 

5/22/2017------------------------

17/05/21 22:55:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
put: Cannot create file/jdk._COPYING_. Name node is in safe mode.
忽略第一行错误，看第二行，是由于系统空间不足

df -hl命令查看系统空间使用情况

删除一些文件后，正常执行上传文件

5/22/2017------------------------

 

下载到linux文件系统

hadoop fs -get hdfs://master:9000/jdk /opt/jdk2

 

查看文件列表

hadoop fs -ls

 

例子-wordcount

上传包含各种单词的word文件到hdfs，然后执行以下命令，可以得到结果文件word-out

 hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount hdfs://master:9000/word  hdfs://master:9000/word-out

默认在hdfs文件系统底下，所以也可以简写成以下

 hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount /word  word-out-2

 

转载于:https://my.oschina.net/jayronwang/blog/393811