徐腾瑞的博客

转载：http://hbasefly.com/2016/03/25/hbase-hfile/ HFile是HBase存储数据的文件组织形式，参考BigTable的SSTable和Hadoop的TFile实现。从HBase开始到现在，HFile经历了三个版本，其中V2在0.92引入，V3在0.98引入。HFileV1版本的在实际使用过程中发现它占用内存多，HFileV2版本针对此进行了优化，HFileV3版本基本和V2版本相同，只是在cell层面添加了Tag数组的支持。鉴于此，本文主要针对V2版本进行分..

目录 前言 一. 什么是协处理器 ObserverCoprocessor Endpoint Coprocessor 二.开发案列 总结 前言 HBase是基于Hadoop存储的一种超大型KV数据库，从字面意思可以看出HBase对KV结构支持比较友好，虽然现在还支持Phoenix查询，但是对于很多应用场景中，我们需要HBase廉价的存储和支持超大高并发查询的性能，但是我们不仅仅是想通过rowkey来获取对应的数据，还可能通过其他字段获取，什么我想像普通数据库一样求和，统计数量都难以达...

1. 先把RDD转成RDD[Put]类型 dataRDD.repartition(100) .foreachPartition(partition => { val hBaseConfiguration = HBaseConfiguration.create() hBaseConfiguration.set("hbase.zookeeper.quorum", zookeeper) hBaseConfiguration.set("zooke

def autoCreateTable(tableName: String, regionSize: Int): Unit = { val connection = getConnection val admin = connection.getAdmin val hTable = TableName.valueOf(tableName) if (admin.tableExists(hTable)) { admin.disableTable(hTable) .