匆匆z2的博客

由于线上集群有上千台机器,启动时间在30分钟左右,需要对启动流程进行优化, 阅读了hbase启动相关的源码, 首先,hbase启动分为需要三个组件,hmaster和regionserver,zookeeper hmaster:在启动过程中主要负责region分配给那个regionserver, regionserver:会将regionserver分配过的的region初始化到能够提供服务...

在做web开发的时候,我们很容易的能够搭建本地环境进行debug调试, 但是对于大数据系统来说,本地调试变得不太现实,我认为主要是由两个原因导致的: 1.依赖的组件太多,比如,hbase就需要依赖zookeeper及hdfs; 2.系统启动需要配置的环境变量及初始化所做的操作比较多; 那么我们如何对大数据系统进行调试呢?以下以hbase作为示例 首先需要java环境,搭建好hadoop,...