康师傅没有眼泪

JMX （Java管理扩展）提供了内置的工具，使您能够监视和管理Java VM。要启用远程系统的监视和管理，需要在启动Java VM时设置系统属性com.sun.management.jmxremote.port（希望通过该端口号启用JMX RMI连接）。} ]如上监控主要是HBase 内某个RegionServer 详细信息。具体有gc， scan，flush ，block,compaction 等细粒度的监控。

NameNode的元数据备份使用SSD、定时备份 NameNode 上的元数据，每小时或者每天备份，如果数据极其重要，可以5~10分钟备份一次。备份可以通过定时任务复制元数据目录即可。2、为NameNode指定多个元数据目录，使用dfs.name.dir或者dfs.namenode.name.dir指定。一个指定本地磁盘，一个指定网络磁盘。这样可以提供元数据的冗余和健壮性，以免发生故障。

因为，我们这个A集群是kerberos 环境，B集群是不带kerberos环境，这里使用Distcp的方式。这里仅是为了迁移底层数据，所以选择那种方式都可以。客户集群机房迁移，我们部署的集群也要完成跨集群迁移hbase 表，这里选择迁移Hadoop底层数据来实现hbase的表迁移。从HMaster -web 可以看到表的 2 个Region 的状态为 Other Regions。如果是kerberos 认证集群的集群 我们需要在jar包中 加入 集群的 xml 配置文件即可。三、HBCK2下载和编译。

HBase关键参数配置如果同时存在读和写的操作，这两种操作的性能会相互影响。如果写入导致的flush和Compaction操作频繁发生，会占用大量的磁盘IO操作，从而影响读取的性能。如果写入导致阻塞较多的Compaction操作，就会出现Region中存在多个HFile的情况，从而影响读取的性能。所以如果读取的性能不理想的时候，也要考虑写入的配置是否合理。

Hbase的快照就是一分元数据的集合。SnapShot的实现不涉及到表的实际数据拷贝，仅仅拷贝一些元数据，如组成表的region信息，表的描述信息，表对应的HFile的文件引用等信息。快照可以在线完成也可以离线完成，可以利用快照完成表的备份。.........

目录一、HBase与Zookeeper的关系1.1 HA管理1.2 RegionServer管理1.3 元数据Region1.4 Region管理1.5 预写日志恢复1.6 hbase-site.xml中zookeeper的配置 集群的主节点的选举和主备的切换跟Hadoop中Namnode的HA的选举和切换机制类似（后面我会专门写一篇文章讲解Namenode的HA）。 为啥子选择zookeeper干这个事？因为随着集群节点越来越多，HMaster的管理负担会越来越重，另外它自身也有

<configuration xmlns:xi="http://www.w3.org/2001/XInclude"> <!-- Unix Socker 文件路径 --> <property> <name>dfs.domain.socket.path</name> <value>/var/lib/hadoop-hdfs/dn_socket</value>...

HBase truncate的问题情景：使用hbase命令truncate 'tablename'本来这张表进行了预分区，但是truncate之后表的预分区信息就没有了。问题：1.使用truncae如何与原表的预分区保持一致？要保留分区应该使用 truncate_preserve 'tablename'命令，如果直接使用truncate 'tablename'是不会保留分区的...

统计命令[kangll_hdp@hdp101 hadoop]$ hbase org.apache.hadoop.hbase.mapreduce.RowCounter 'default:devicestatus'default: 命名空间 devicestatus: 表名统计结果

目录一、hbck二、HFile 三、snapshots 四、Replication五、Export六、copyTable一、hbckhbck 工具用于Hbase底层文件系统的检测与修复，包含Master、RegionServer内存中的状态及HDFS上数据的状态之间的一致性、黑洞问题、定位元数据不一致问题等 命令：hbase hbck -help查看参数帮助选项Usage: fsck [opts] {only tables...

一、HBase表创建示例 如下创建了一张称为‘ win_kangll_day’的表，表中只有一个列族’d’，紧接着的属性都是对此列族进行的设置。这些属性基本都会或多或少地影响该表的读写性能，创建‘win_kangll_day’使用了数据压缩、数据编码、预分区等属性设置。​​create 'win_kangll_day',{NAME=>'d',VERSIONS => 1,COMPRESSION=>'SNAPPY',DATA_BLOCK_ENCODING =>...

目录一、HBaseAPI重要的概念1.Scan2.Result3.Filter的Scan二、案例分析---HBaseAPI学习1.需求2.思路3.代码一、HBaseAPI重要的概念1.ScanHBase中的数据表通过划分成一个个的Region来实现数据的分片，每一个Region关联一个RowKey的范围区间，而每一个Region中的数据，按RowKey的字典顺序进行组织。正是基于这种设计，使得HBase能够轻松应对这类查询：“指定一个RowKey的范...

转自公众号HBase工作笔记一、过滤器介绍HBase过滤器是一套为完成一些较高级的需求所提供的API接口。过滤器也被称为下推判断器（push-down predicates），支持把数据过滤标准从客户端下推到服务器，带有 Filter 条件的 RPC 查询请求会把 Filter 分发到各个 RegionServer，所有的过滤器都在服务端生效，使被过滤掉的数据不会被传送到客户端，这些过滤逻辑在读操作时使用，可以有效降低网络传输的压力。 ...

目录一、Phoenix简介1、什么是Phoenix2、Phoenix性能二、Phoenix的安装部署三、Phoenix入门案例四、建立与HBase表映射五、使用Phoenix构建二级索引加快查询效率1、配置HBase支持Phoenix二级索引2、重启HBase集群使配置生效一、Phoenix简介1、什么是PhoenixPhoenix是一个HBa...

本次分享的内容主要分为以下五点：HBase基本知识； HBase读写流程； RowKey设计要点； HBase生态介绍； HBase典型案例分析。首先我们简单介绍一下 HBase 是什么。HBase 最开始是受 Google 的 BigTable 启发而开发的分布式、多版本、面向列的开源数据库。其主要特点是支持上亿行、百万列，支持强一致性、并且具有高扩展、...