hadoop常用命令总结

最新推荐文章于 2023-07-07 06:00:56 发布

原创最新推荐文章于 2023-07-07 06:00:56 发布 · 1.1k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop常用命令整理 #hadoop #hdfs

hadoop运维专栏收录该内容

15 篇文章

订阅专栏

jps：查看进程
hadoop dfsadmin -safemode leave：关闭安全模式，安全模式下只读
hadoop dfsadmin -safemode enter：进入安全模式
                            get: 获取安全模式信息
                            wait：挂起，直到安全模式结束
hadoop fs -help :查看帮助信息。
hadoop fs -ls / ：查看路径下文件信息
hadoop fs -mkdir a ；创建一个目录，默认在/user/hadoop/下
hadoop fs -lsr /user ：递归查看目录信息
hadoop fs -put /home/hadoop/nimei.txt hdfs://h85:9000/user/hadoop/a/：将本地文件传输到hdfs下的/user/hadoop/a下
hadoop fs -df /user/hadoop/a/:查看a目录的详细信息（大小，使用情况）。
hadoop fs -du /user/hadoop/a ：显示a目录下的文件的大小及绝对路径
hadoop fs -dus /user/hadoop/a ：显示a目录下的文件总大小及绝对路径
hadoop fs -mv /user/hadoop/a/nimei.txt /user/hadoop/a/aaa：移动文件并改名
hadoop fs -cp /user/hadoop/a/aaa /user/hadoop/a/bbb:复制文件并改名
hadoop fs -rm /user/hadoop/a/aaa ：删除单个文件
hadoop fs -rmr /user/hadoop/a/    ：递归删除目录树
hadoop fs -moveFromLocal nige.txt hdfs://h85:9000/user/hadoop/a/aaa：把本地文件移动到hdfs：/user/hadoop/a下并改名
hadoop fs -get hdfs://h85:9000/user/hadoop/a/aaa /home/hadoop：从hdfs中下载文件到本地
hadoop fs -getmerge /user/hadoop/a /home/hadoop/b：把目录a中所有文件装载在一起并下载到本地起名为b
copyToLocal 拷贝到本地
moveToLocal 移动到本地路径
setrep    设置文件镜像等级（镜像个数）
tail 显示文件最后1K的内容
touchz 创建一个日期格式文件
test   -【ezd】判断是否存在，是否为空，是否是目录，是返回0，不是返回1。
hadoop fs -cat /user/hadoop/a/aa.txt ：查看文件内容
hadoop fs -chmod 777 /user/hadoop/a/aa.txt ：修改文件权限
+x
或者u=rwx，
chgrp 更改属组
chown 更改属主

fsck：检查hadoop文件的健康状况
hadoop fsck /user/hadoop/

hadoop dfsadmin -report
查看节点健康状况。（经常使用）
或者网页端登录：192.168.18.85:50070/

stop-all.sh关闭所有节点

HDFS启动：

$HADOOP_HOME_BASE/bin/hadoop-daemon.sh start namenode 启动namenode
NameNode
$HADOOP_HOME_BASE/bin/hadoop-daemon.sh start secondarynamenode 启动secondanamenode$HADOOP_HOME_BASE/bin/hadoop-daemons.sh start datanode 启动DataNode
$HADOOP_HOME_BASE/bin/hadoop-daemon.sh start datanode
NameNode、Secondary NameNode、 DataNode$HADOOP_HOME_BASE/bin/start-dfs.sh

关闭

$HADOOP_HOME_BASE/bin/hadoop-daemon.sh stop namenode$HADOOP_HOME_BASE/bin/hadoop-daemon.sh stop secondarynamenode
$HADOOP_HOME_BASE/bin/hadoop-daemons.sh stop datanode$HADOOP_HOME_BASE/bin/hadoop-daemon.sh stop datanode
NameNode、Secondary NameNode、 DataNode$HADOOP_HOME_BASE/bin/stop-dfs.sh

HDFS日志：
namenode：
位置：$HADOOP_HOME_BASE/logs/hadoop-$USER-namenode-$HOSTNAME.log
查看：tail -fn 100 $HADOOP_HOME_BASE/logs/hadoop-$USER-namenode-$HOSTNAME.log
DataNode：
位置：$HADOOP_HOME_BASE/logs/hadoop-$USER-datanode-$HOSTNAME.log
查看：tail -fn 100 $HADOOP_HOME_BASE/logs/hadoop-$USER-datanode-$HOSTNAME.log