hadoop2 shell简介

 

0 简图：

 

 

 

 

1  命令所在位置：

[root@h2single511-115 bin]# pwd
/usr/local/hadoop2.4/bin

 

 

2 和hadoop1 shell的区别：

 

hadoop1	hadoop fs -ls /     其余写法类推
hadoop2	hdfs dfs -ls /          其余写法类推

 

 

3 查看帮助命令写法： hdfs -help

 

eg:

 

[root@h2single511-115 bin]# hdfs -help
Usage: hdfs [--config confdir] COMMAND
       where COMMAND is one of:
  dfs                  run a filesystem command on the file systems supported in Hadoop.
  namenode -format     format the DFS filesystem
  secondarynamenode    run the DFS secondary namenode
  namenode             run the DFS namenode
  journalnode          run the DFS journalnode

 

 

4 查看 hadoop2 dfs下每个命令详细写法：[root@h2single511-115 bin]# hdfs dfs -help

 

查看 hadoop2 dfs下命令汇总写法：[root@h2single511-115 bin]# hdfs dfs

 

查看 hadoop2 具体命令详细写法： hdfs dfs  -help mkdir

eg:

[root@h2single511-115 bin]# hdfs dfs  -help mkdir
-mkdir [-p] <path> ...: Create a directory in specified location.
                  -p  Do not fail if the directory already exists

 

 

 5

a)执行bin/hdfs dfs [-command]
b)-ls 显示文件夹的内容
i.-h 显示文件大小的时候，使用K\M\G显示文件大小
ii.-R 递归显示文件夹包含的内容
c)-mkdir 创建文件夹
i.-p 递归创建文件夹
d)-put 上传文件
i.-f 如果已经存在文件，那么强制覆盖
ii.-p 把linux上的文件的时间、所有者，还有模式一起复制到hdfs中
e)-text 查看文件内容，包括zip、avro等格式内容 比-cat查看格式广
f)-appendToFile 向hdfs已经存在的文件追加内容
g)-count 显示文件(夹)的数量
h)-get -p  hdfs文件   linux文件  如果下载文件已存在 则覆盖掉
i)-get -mv src  dest 移动hdfs文件从一个位置到另一个位置

  hdfs dfs  -chmod -R  755  /user   修改hdfs权限

 

 6 常用到的：

 

hadoop distcp hdfs://hadoop0:8020/xx/user_test/dt=20130713(source)  hdfs://hadoop10:8020/xx/user_test/dt=20130713(目标集群)   alter table  xxx add partiton(dt='20130713')

hadoop job -kill 

hadoop job -list

hadoop version

hadoop jar xxx.jar arg...

 

hadoop admin:

hadoop balancer 数据重分布

hadoop dfsadmin hdfs管理命令 比如安全模式进入和退出

hadoop namenode format  常用 hdfs namenode format

hadoop secondarynamenode 

 

hdfs:

hdfs dfs -put src dest

hdfs dfs -get src local 

hdfs fsck file 查看文件状态 

hdfs dfs -du -h file 查看文件总大小