HDFS基本命令:
hadoop fs -cmd
cmd: 具体的操作,基本上与UNIX的命令行相同
args:参数
HDFS资源URI格式:
scheme://authority/path
scheme:协议名,file或hdfs
authority:namenode主机名
path:路径
示例:hdfs://localhost:9000/user/chunk/test.txt
假设已经在core-site.xml里配置了 fs.default.name=hdfs://localhost:9000,则仅使用/user/chunk/test.txt即可。
hdfs默认工作目录为 /user/$USER,$USER是当前的登录用户名。
HDFS命令示例:
建立文件夹:
hadoop fs -mkdir /user/trunk
查看目录文件:
hadoop fs -ls /user
hadoop fs -lsr /user (递归的)
上传文件到hdfs:
hadoop fs -put test.txt(linux文件目录)/user/trunk(hdfs目录)
hadoop fs -put test.txt . (复制到hdfs当前目录下,首先要创建当前目录)
下载hdfs文件:
hadoop fs -get /user/trunk/test.txt . (复制到本地当前目录下)
hadoop fs -get /user/trunk/test.txt(hdfs目录) /root(linux的root目录) (复制到本地当前目录下)
查看hdfs文件内容:
hadoop fs -cat /user/trunk/test.txt
hadoop fs -tail /user/trunk/test.txt (查看最后1000字节)
删除hdfs上文件和目录:
hadoop fs -rm/user/trunk/test.txt
hadoop fs -rmr /user/trunk(删除目录tunk)
查看ls命令的帮助文档:
hadoop fs -help ls (查看ls命令的帮助文档)
注解:在put的时候遇到问题:
put: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create file/user/hadoopadmin. Name node is in safe mode.
解法:离开hadoop安全模式
>bin/hadoop dfsadmin -safemode leave