hadoop hdfs , mapreduce 第一步

      http://blog.youkuaiyun.com/l1028386804/article/details/45921443 本文通过两种方式来讲解 Hadoop 中对HDFS文件系统的操作，第一种方式是命令行，第二种方式是通过 Java 代码来实现。

      一、命令行方式：hadoop fs xxx

          hadoop  fs -ls  /    查看hdfs的根目录下的内容的

         hadoop fs -lsr /    递归查看hdfs的根目录下的内容的

         hadoop fs -mkdir /d1    在hdfs上创建文件夹d1

         hadoop fs -put < Linux  source> <hdfs destination> 把数据从 linux 上传到hdfs的特定路径中

         hadoop fs -get <hdfs source> <linux destination> 把数据从hdfs下载到linux的特定路径下

         hadoop fs -text <hdfs文件>    查看hdfs中的文件

         hadoop fs -rm        删除hdfs中文件

         hadoop fs -rmr    删除hdfs中的文件夹

目录保存在 hdfs的根目录？

start-dfs.sh

stop-dfs.sh

start-yarn.sh

jps 检查 ResourceManager

stop-yarn.sh

exercise:

新建文件夹

hadoop fs -mkdir /user

hadoop fs -mkdir /user/root

hadoop fs -put /opt/exercise/ds.txt ds.txt

hadoop fs -ls -d /user/root

hadoop fs -ls -R /user/root

hadoop fs -cat /user/root/ds.txt

复制文件

hadoop fs -cp /user/root/ds1.txt /user/root/ds1_bak.txt

删除文件

hadoop fs -rm -r /user/root/ds1_bak.txt

单词计数：

cp /opt/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar /opt

ls /opt/hadoop-mapreduce*

运行单词计数

hadoop jar /opt/hadoop-mapreduce-examples-2.6.5.jar wordcount /user/root/ds1.txt /user/root/ds_out

查看任务输出

hadoop fs -cat /user/root/ds_out/part-r-00000