u010316405的专栏

问题导读：1.hdfs中的建立的目录. 表与目录的关系式什么？一个表是否对应一个目录？2.-ROOT-表和.META对应几个文件？3.splitlog和.corrupt目录是用来做什么的？4.通过http查看文件，需要配置那个文件？为了查看HBASE表在HDFS中的文件结构.在HBASE中建立一张表结构如下:{NAME =>

hdfs块丢失导致hbase部分数据获取异常Hbase获取数据异常：org.apache.hadoop.hbase.client.RetriesExhaustedException: Can’t get the locations检查hbase regionserver日志无明显异常；查看hbase table region 发现莫名多出了两个region（预分区200个region）...

1、使用vmstat 1 命令查看si so两个swap列，确认没有发生交换，1代表每秒打印一次2、使用jstat -gcutil pid 1000 查看fgct列，确认regionserver没有发生长时间gc暂停，如果gc时间超过zookeeper的连接最大超时时间则会导致hbase挂掉hbase中和GC相关的参数：（默认）：expo

背景： 近期公司hadoop平台升级，升级后hadoop平台各个组件也都升级了。hbase中的数据需要迁移至新版本中；首先列出集中常用迁移方案： 1. hadoop distcp 将hbase存储在hdfs上面的数据目录全部从当前集群拷贝至目标集群hbase对应的hdfs目录； hadoop distcp -f hbasedir "hdfs://new cluster ip:9

问题描述：由于不小心误删了hdfs的元数据目录，导致hdfs的块丢失；hdfs namenode自动进入 safe mode，hbase也一直报错找不到hbase.version文件，导致master挂掉；1、首先退出hdfs namenode safe mode    hadoop dfsadmin -safemode leave2、修复hdfs丢失的块  hadoop fs

一，基本命令：    建表：create 'testtable','coulmn1','coulmn2'     也可以建表时加coulmn的属性如：create 'testtable',{NAME => 'coulmn1', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0', VERSIONS => '10', COMPRESSION

监控指标大致如下：  default.shuffleInput  dfs.datanode  jvm  mapred.shuffleOutput  rpc  metricssystem  dfs.datanode.blockChecksumOp_avg_time 块校验平均时间  dfs.datanode.blockChecksu

一、从源hbase集群中复制出HBase数据库表到本地目录最好停止HBase，否则可能会丢部分数据[hbase@hadoop200 ~]$ hadoop fs -get /hbase/toplist_ware_total_1009_201232 toplist_ware_total_1009_201232压缩[hbase@hadoop200 ~]$ tar zcvf to

meta表修复一Java代码  查看hbasemeta情况   hbase hbck   1.重新修复hbase meta表（根据hdfs上的regioninfo文件，生成meta表）   hbase hbck -fixMeta   2.重新将hbase meta表分给regionserver（根据meta表，将meta表上的region分给regionservere）   hb...

HBase在线平滑迁移region此方式可以用作hbase配置修改，平滑重启regionserver，或移除某个rs节点关闭自动balancer转移RS上的region下线RS开启自动balancer上线RS启动balance此方式可以用作hbase配置修改，平滑重启regionserver，或移除某个rs节点关闭自动balancer通过hbase shell 关闭自动balancerh...