Hadoop学习笔记11之HDFS其他常用操作命令

配置hadoop的最小blocksize，必须是512的倍数。

-------------------------------------------

         [hdfs-site.xml]

         dfs.namenode.fs-limits.min-block-size=1024

         write,进行校验，512进行一次校验。

 

单独配置辅助名称节点

---------------------

         [hdfs-site.xml]

         dfs.namenode.secondary.http-address=s206:50090

 

使用oiv命令查询hadoop镜像文件

------------------------------

    镜像文件中记录了文件和目录的结构

         在/home/ctr/soft/hadoop-2.7.3/tmp/dfs/name/current 下：

hdfs oiv -i fsimage -o a.xml -p XML                    //查看镜像文件

 

使用oev命令查询hadoop编辑日志

------------------------------

    编辑日志中记录了对Hadoop做的除查询外的操作(提交的事物)

         在/home/ctr/soft/hadoop-2.7.3/tmp/dfs/name/current 下：

hdfs oev  -i  editxxxx  -o b.xml -p XML        //查看编辑日志文件

 

hdfs dfsadmin管理命令

----------------------

                  $>hdfs dfsadmin                                            //查看帮助

                  $>hdfs dfsadmin      -help rollEdits  //查看指定命令的帮助

                  $>hdfs dfsadmin -rollEdits                 //滚动编辑日志

        

启动hdfs时，镜像文件编辑日志进行融合，编辑日志滚动。

 

hdfs dfsadmin管理命令

----------------------

         $>hdfs dfsadmin                                            //查看帮助

         $>hdfs dfsadmin      -help rollEdits  //查看指定命令的帮助

         $>hdfs dfsadmin -rollEdits                 //滚动编辑日志

   

 

hadoop

--------------------

                  $>hadoop fs                                          //hdfs dfs

                  $>hadoop checknative              //检查压缩库本地安装情况

                  $>hadoop namenode -format //格式化名称

 

 

hdfs管理命令

--------------------

                           hdfsdfsadmin                    //保存名字空间,需要进入安全模式

--------------------------------

                  $>hdfs dfsamdin –saveNamespace //保存在$HADOOP_HOME

                   并且自动完成日志融合

                   $>hdfsdfsadmin [-safemode enter | leave | get | wait]

                                进入  离开 查看 等待

 

hadoop启动命令

------------------

                           $>start-all.sh            //start-dfs.sh + start-yarn.sh

                           $>start-dfs.sh           //hadoop-daemon.sh start namenode

                                                            //hadoop-daemons.sh start datanode

                                                                 //hadoop-daemons.shstart secondarynamenode

                           $>start-yarn.sh        //yarn-daemon.sh start resourcemanager

                                                            //yarn-daemons.sh start nodemanager

       

配额管理(quota)

-------------------

         限制文件夹下文件的数量和大小

                  [目录配额]

                  计算目录下的所有文件的总个数。如果1，表示空目录。

                  $>hdfs dfsadmin -setQuota 1 dir1dir2             //设置目录配额

                  $>hdfs dfsadmin -clrQuota 1 dir1dir2              //清除配额管理

 

                  [空间配额]

                  计算目录下的所有文件的总大小.包括副本数.

                  空间配置至少消耗384M的空间大小(目录本身会占用384M的空间)。

                  $>hdfs dfsadmin -setSpaceQuota 3data

                  $>echo -n a > k.txt

                  $>hdfs dfs -put k.txt data2

                  $>hdfs dfsadmin -clrSpaceQuota dir1                        //清除配额管理

 

快照管理

--------------------

                  1.描述

                  迅速对文件(夹)进行备份。不产生新文件，使用差值存储。

                 默认是禁用快照,先启用。

                  2.命令

                $>hdfsdfsadmin -allowSnapShot dir1               //在dir1启用快照

                $>hdfsdfsadmin -disallowSnapShot dir1 //在dir1禁用快照

                $>hdfsdfs -createSnapshot dir ss1          //创建快照

                $>hdfsdfs -renameSnapshot dir ss1 ss2 //重命名

                $>hdfsdfs -deleteSnapshot dir ss1          //删除快照