KLordy的博客

Created with Raphaël 2.1.2FsShell::run FsShell::init 初始化FsShell，在工厂类中注册各种命令对应处理类 op1调用命令处理类的run方法实际是调用的Command::run方法 op2processOptions(args)解析命令行入参进行配置 op3processRawArguments(args) op4 expandArgument...

最近公司集群切换，需要将老集群中的数据迁移到新集群上，了解到了distcp这个工具。借助它很好的完成了迁移任务。 基础用法如下： hadoop distcp hdfs://cluster1:9000/stat hdfs://cluster2:9000/这里就是把cluster1中的stat拷贝到cluster2中，这里需要注意源路径和目标路径均要写绝对路径。 另外，如果源路径...

  ShutdownHookManager的设计和jdk包中的设计基本类似，所以很有必要先分析一波jdk中的shutdownHook的源码，具体如下。   在Runtime.java这个类中，有一个方法addShutdownHook，这个方法的作用就是允许用户注册一些JVM异常关闭的处理代码。先说明一下，JVM的关闭退出分为两类：  1> 正常的退出，例如程序运行完毕正常的自动退出、程序...

自己的虚拟机环境中部署了一套自己测试用的hadoop环境，平时为了方便启动都是直接调用start-all.sh脚本直接启动，那么这个脚本中的执行流程是如何的，脚本是如何配置参数然后启动集群中各个服务进程的呢？之前只是知道用start-all.sh偷懒，有时间刚好看了一遍这个脚本的整体流程，以start-all.sh作为出发，了解整个脚本启动的流程对于理解集群配置还是有一定帮助的，起码可以了解bin...

1.免密钥登录1.1 准备工作  新增的机器创建用户设置密码：useradd hadooppasswd hadoop  用户创建好以后，先找任意一台之前集群里的机器，把新增的机器的ip和hostname加入到/etc/hosts中，然后scp分发到集群中各个机器上，当然要包括新机器。然后继续回到新增的机器上，对hostname进行修改，先vim /etc/sysconfig/netw...