Linux下HDFS简单的shell操作

目前实现Linux环境下通过shell命令来实现hdfs文件的上传与下载

1.启动Hadoop

start-all.sh

2.上传文件

假设将/root目录中的jdk安装包上传到hdfs的根目录下:

hadoop fs -put jdk-7u76-linux-x64.tar.gz hdfs://master:9000/

执行完以后从网页打开http://192.168.1.111:50070/ 的文件系统刷新一下，可以看到新加进去的文件的信息

3.下载文件

点击上传的文件，则直接可以下载到Windows系统中

hdfs的存储路径与本地文件系统无关，测试如下：

 删除本地的文件：rm -rf jdk-7u76-linux-x64.tar.gz

再从hdfs中下载下来

 hadoop fs -get hdfs://master:9000/jdk-7u76-linux-x64.tar.gz

3.查看文件

hadoop fs -ls /

4.hdfs中复制文件到另一个文件夹下

hadoop fs -cp /jdk-7u76-linux-x64.tar.gz /tmp/

5.查看空间大小

hadoop fs -df -h /

6.查看文件大小

hadoop fs -du -h /

7.创建删除文件夹或目录

 创建：hadoop fs -mkdir /aa

 删除：hadoop fs -rm -r /aa