奈文摩尔ST

一：介绍把一部分计算也移动到数据的存放端；允许用户执行region级的操作；可以动态加载。二：使用场景：1、使用钩子来关联行修改操作来维护辅助索引，或维护一些数据间的引用完整性。2.权限控制三：coprocessor两大类：observer和endpoint介绍3.1Observer与触发器类似;regionobserver处理数据修改事件，表region联系紧密;Master...

hbase优化一：gc参数优化 ：region服务器处理过大的负载，内存分配策略无法安全地只依赖JRE对程序的行为的各种假设，需要使用JRE提供的选项调整垃圾回收策略应对。写入磁盘的数据客户端不连续，导致Java虚拟机堆内存出现空洞。年轻代空间：128~512M之间 老生代：好几G。配置文件添加：hbase-env.sh：HBASEOPTS或者HBASEREGIONSERVER_OPT(推荐...

snapshot操作在硬盘上形式：/hbase/.snapshots /.tmp <---- working directory /[snapshot name] <----- completed snapshot当snapshot完成时的形式展示： /hbase/.snapshots/[...

hbase过滤器filter及自定义filter1.filter源码实现：hbase的filter定义在protobuf中（filter.proto文件）。如：message QualifierFilter { required CompareFilter compare_filter = 1;}message RandomRowFilter { required fl...

hbase meta表数据存储1.meta表存储了在系统上的一系列的region信息。以及meta表的信息存储在zookeeper上。2.meta表结构如下（默认列族为info） ：Key：Region key of the format ([table表名],[region start key起始键],[region id])Values：序列化的regioninfo实例info...

hbase-region数量单个regionserver配置region个数的两种方案：根据官方推荐配置（硬盘容量）；根据内存配置一：官方推荐配置（硬盘容量）：官方文档给出的推荐：regionserver上的region个数范围在20~200；每个region的大小在10G~30G之间，比较符合实际。配置：regionSize的大小配置：hbase.hregion.max.file...

hbase gc调优（CMS与G1）一：hbase gc调优目的：在HBase中，有两个在内存中的结构消费了绝大多数的heap空间。BlockCache缓存读操作的HFileblock，Memstore缓存近期的写操作，基于HBase是一个响应时间敏感，并且需要对GC时间可控的应用的出发点。二：hbase的gc调优本文通过CMS与g1两种算法进行设置参考。（需要大致了解两种垃圾收集器...

hbase scan客户端服务端流程一：基础知识了解：scanner可分为两种InternalScanner和KeyValueScanner,区别如下1.InternalScanner,可以理解为包含其他scanner的scanner，它的主要接口为next(),作用是从其包含的scanner中获取下一个KeyValue,它的角色可以理解为雇佣KeyValueScanner2.KeyVa...

HBASE-LSM树1.B+树关于B树、B+树、B树的了解参考：*http://blog.youkuaiyun.com/v_july_v/article/details/6530142优点：走进搜索引擎的作者梁斌老师针对B树、B+树给出了他的意见（为了真实性，特引用其原话，未作任何改动）：“B+树还有一个最大的好处，方便扫库，B树必须用中序遍历的方法按序扫库，而B+树直接从叶子结点挨个扫一遍就完...

一：shell执行：grant授权：查看commands目录下grant.rb文件：security_admin.grant(user, permissions, table_name, family, qualifier)进入security.rb文件执行：org.apache.hadoop.hbase.security.access.AccessControlClient.gran...

一：HBASE权限userHBASE的user底层使用的还是hadoop的user；构造connection类：public static Connection createConnection(Configuration conf, User user) throws IOException { return createConnection(conf, null, user);...

hbase夯机问题： FATAL org.apache.hadoop.hbase.regionserver.HRegionServer: ABORTING region server : Replay of WAL required. Forcing server shutdown? Caused by: org.apache.hadoop.hbase.exceptions.TimeoutIO...

一：目的：主从集群replication双写下，为了不影响增量数据，将全量数据snapshot导入新集群表中二：方案：2.1 .cdh6以下hbase版本：方案一：clone_snapshot +copyTable（整表执行，操作次数少；操作时间长；copy Table会影响到正常读写，由于region的split）方案二：bulkload ，但是受region个数与列族个数影响，...

HBase跨集群迁移调研方案回顾迁移目的HBase跨集群平滑迁移方案方案一双写：replication历史数据：Snapshot——>exportSnapshot——>clone_snapshot——>copyTable方案二双写：replication历史数据：Snapshot——>exportSnapshot——>bulkload操作命...

HBase集群平滑迁移步骤测试环境CDH版本HBASE版本测试源集群5.15.11.2.0测试目标集群6.2.02.1.0线上迁移环境CDH版本HBASE版本线上源集群5.9.31.2.0线上目标集群6.2.02.1.0迁移前准备源集群配置snapshot配置（已配置忽略）#修改配置hbase.sna...

一：hbase现有硬件资源的理论性能1.集群容量规划公式：优化调整，发挥硬件的最大优势；Disk Size / Java Heap=RegionSize / MemstoreSize * ReplicationFactor * HeapFractionForMemstore *2按照默认配置，RegionSize = 10G，对应参数为hbase.hregion.max.filesi...

hbase region split ：split执行调用流程：1.HbaseAdmin发起split：###2.RSRpcServices实现类执行split（Implements the regionserver RPC services.）###3.CompactSplitThread类与SplitRequest类用来执行region切割:###4.splitRequest执行do...