大数据基础--Hadoop常用命令

hadoop常用命令

1.命令部分

第一部分：运维命令

start-dfs.sh      启动namenode，datanode，启动文件系统
stop-dfs.sh     关闭hdfs文件系统
start-yarn.sh      启动resourcemanager,nodemanager
stop-yarn.sh     关闭resourcemanager,nodemanager
start-all.sh      启动hdfs，yarn ==》spark start-all.sh
stop-all.sh     关闭hdfs，yarn
hdfs --daemon stop datanode     单独启动datanode(在哪个节点上执行，就启动哪个节点的datanode)
hdfs namenode -format     格式化文件系统

第二部分：hdfs文件系统命令 （要对hdfs文件系统进行操作，首先要start-all.sh）

第一类：文件路径增删改查系列：
hdfs dfs -mkdir dir     创建文件夹
hdfs dfs -mkdir -p /sun/test     创建多级文件夹
hdfs dfs -rm -r dir     删除文件夹dir
hdfs dfs -ls     目录 查看目录文件信息
hdfs dfs -ls -R     目录 递归查看文件目录信息
第二类：空间大小查看系列命令：
hdfs dfs -du -h dir     按照适合阅读的形式人性化显示文件大小
hdfs dfs -du -s hdfs://master:9000/spark     递归显示目标文件的大小
hdfs dfs -du /user/icss/input/core-site.xml     显示目标文件file的大小
第三类:权限管理类：
hdfs dfs -chmod [-R]     权限 -path 改变文件的权限
第四类：文件操作（上传下载复制）系列：
hdfs dfs -touch a.txt     创建长度为0的空文件a.txt
hdfs dfs -rm file     删除文件file
hdfs dfs -put file dir     向dir文件上传file文件
hdfs dfs -put filea dir/fileb     向dir上传文件filea并且把filea改名为fileb
hdfs dfs -get file dir     下载file到本地文件夹
hdfs dfs -getmerge hdfs://master:9000/user/icss/input CombinedResult     把hdfs里面的多个文件合并成一个文件，合并后文件位于本地系统
hdfs dfs -cat hdfs://master:9000/user/icss/input/core-site.xml     查看文件file
hdfs fs -text /dir/a.txt     如果文件是文本格式，相当于cat，如果文件是压缩格式，则会先解压，再查看
hdfs fs -tail /dir/a.txt    查看dir目录下面a.txt文件的最后1000字节
hdfs dfs -copyFromLocal 123.txt /spark     从本地复制文件
hdfs dfs -copyToLocal /hdfs/a.txt /local/a.txt     从hdfs拷贝到本地
hdfs dfs -copyFromLocal /dir/source /dir/target     把文件从原路径拷贝到目标路径
hdfs dfs -mv /path/a.txt /path/b.txt     把文件从a目录移动到b目录，可用于回收站恢复文件
第五类：系统功能管理类：
hdfs dfs -expunge     清空回收站
hdfs dfsadmin -safemode enter     进入安全模式
hdfs dfsadmin -sfaemode leave     离开安全模式
hdfs version     查看hdfs版本

第三部分：hdfs系统检查工具fsck

hdfs fsck     检查hdfs文件状态
hdfs fsck -delete     删除受损文件。

第四部分：mapreduce命令

hdfs jar file.jar 执行jar包程序

2.运维命令

start-all.sh、stop-all.sh 启动集群 关闭集群
jps 查看集群状态
安全模式：
NameNode在启动时会自动进入安全模式，安全模式是NameNode的一种状态，在这个阶段，文件系统不允许有任何修改。
系统显示Name node in safe mode，说明系统正处于安全模式，这时只需要等待几十秒即可。
1. 退出安全模式：
hadoop dfsadmin -safemode leave
2. 进入安全模式：
hadoop dfsadmin -safemode enter

3.常用 hadoop 和 hdfs 命令

进入hadoop中使用

---

hadoop verion     //版本
hadoop fs     //运行一个常用的文件系统客户端.
hadoop jar     //运行jar包

---

hdfs 常用命令举例

---

hdfs dfs --help      //查看帮助
hdfs dfs -ls -R /     //显示目录结构
hdfs dfs -lsr /     //显示目录结构
hdfs dfs -put      //本地文件上传到hdfs文件
hdfs dfs -get     //下载hdfs文件到本地
hdfs dfs -cat /hdfs上一个文本文件     //显示hdfs上文件内容
hdfs dfs -touchz /hdfs上一个文件名      //在hdfs上新建一个空文件
hdfs dfs -mv /data/test03.txt /data/test.txt     //将hadoop上某个文件重命名

4.Hadoop 3 端口号的改变

分类	应用	Hadoop 2.x port	Hadoop 3 port
NNPorts	Namenode	8020	9820
NNPorts	NN HTTP UI	50070	9870
NNPorts	NN HTTPS UI	50470	9871
SNN ports	SNN HTTP	50091	9869
SNN ports	SNN HTTP UI	50090	9868
DN ports	DN IPC	50020	9867
DN ports	DN	50010	9866
DN ports	DN HTTP UI	50075	9864
DN ports	Namenode	50475	9865