4.3 HDFS的shell操作

接上节

11.创建时间戳文件

在 /ied01目录里创建一个文件 sunshine.txt，

执行命令：hdfs dfs -touchz /ied01/sunshine.txt

 在这里查看刚才创建的文件，是一个空文件

这种空文件，叫做时间戳文件，再次在  /ied01目录下创建sunshine.txt同名文件

12.复制文件或目录

1.同名复制文件

将 /ied01/music.txt 复制到/ied02里，执行命令：hdfs dfs -cp /ied01/music.txt /ied02

 查看复制过去的文件

2.改名复制的文件

将 /ied01/exam.txt 复制到 /ied02 目录，改名为 read.txt

执行命令：hdfs dfs -cp /ied01/book.txt /ied02/read.txt

查看拷贝后的文件内容

 3.复制目录

将 /ied01目录复制到 /ied03 目录，执行命令：hdfs dfs -cp /ied01 /ied03

 查看拷贝后的 /ied03 目录，其内容跟 /ied01 完全相同

 13.查看文件大小

执行命令：hdfs dfs -du /ied01/exam.txt

14.上传文件

执行命令：hdfs dfs -copyFromLocal merger.txt /ied02

查看是否上传成功

 15.下载文件

执行命令：hdfs dfs -copyToLocal /ied01/sunshine.txt sunlight.txt

 查看是否下载成功

 16.查看某目录下文件个数

执行命令：hdfs dfs -count /ied01

17.检查hadoop本地库

执行命令：hadoop checknative -a

 查看hadoop本地库文件

 18、进入和退出安全模式

1.进入安全模式

执行命令：hdfs dfsadmin -safemode enter   注意：进入安全模式只可读不可写

 此时，如果要创建目录，就会报错

 2.退出安全模式

执行命令：hdfs dfsadmin -safemode leave

 此时，创建目录 /ied04 就没有任何问题

案例

Shell定时采集数据到HDFS

创建日志文件存放的目录 /export/data/logs/log，执行命令：mkdir -p /export/data/logs/log

 创建待上传文件存放的目录/export/data/logs/toupload，执行命令：mkdir -p /export/data/logs/toupload

 查看创建的目录树结构

1.编写脚本，实现功能

进入 /export/data/logs 目录

 执行命令：vim upload2HDFS.sh

编辑权限，执行命令：chmod u+x upload2HDFS.sh

查看 /export 目录树结构

2.运行脚本，查看结果

创建四个日志文件（必须以access.log.打头）

 查看 /export 目录树结构

 执行命令：./upload2HDFS.sh

 查看 /export 目录树结构

 打开HDFS集群WebUI查看上传的日志文件

 

案例结束