NON blog

本文转载至Hbase系统架构及数据结构Hbase中的表一般有这样的特点：1 大：一个表可以有上亿行，上百万列2 面向列:面向列(族)的存储和权限控制，列(族)独立检索。3 稀疏:对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。下面一幅图是hbase在Hadoop Ecosystem中的位置。二、逻辑视图HBas

Hbase官方文档中写明，目前列族数量最优不超过3个。先看Hbase的存储结构每个 RegionServer 包含多个 Region，每个 Region 包含多个Store，每个 Store 包含一个 MemStore 和多个 StoreFile。在 Hbase 的表中，每个列族对应 Region 中的一个Store，Region的大小达到阈值时会分裂，因此如果表中有多个列

Protobuf语言指南——.proto文件语法详解Protobuf语言指南l  定义一个消息（message）类型l  标量值类型l  Optional 的字段及默认值l  枚举l  使用其他消息类型l  嵌套类型l  更新一个消息类型l  扩展l  包（package）l  定义服务（ser

深入分析HBase-RPC(Protobuf)实现机制问题导读1、 HBase-RPC实现机制是什么？2、如何理解从功能上讲，RpcServer上包含了三个模块？3、Protobuf内置编码与传统压缩技术是否可以配合使用？背景在HMaster、RegionServer内部，创建了RpcServer实例，并与Client三者之间实现了Rpc调用，HBase

1.数据块缓存数据块缓存是以列族为单位的缓存机制。默认是打开的,可以在创建表和更改表时改变它。//表示关闭create 'mytable',{NAME=>'cf',BLOCKCACHE=>'false'}用法： 主要用在经常访问的列族上，对于不经常访问的列族和只被顺序扫描访问的列族，可以关闭。关闭可以提高性能，省去了维护缓存的开销，让其他列族使用缓存。2.激进缓存hbase中还可以给与一

[How to] 使用HBase协处理器---基本概念和regionObserver的简单实现1. 简介　　　　对于HBase的协处理器概念可由其官方博文了解：https://blogs.apache.org/hbase/entry/coprocessor_introduction　　总体来说其包含两种协处理器：Observers和Endpoint。　　其中Ob

hbase到了1.x之后放弃了这种创建工厂的方式： @deprecated Please use ConnectionFactory instead Connection connection =HConnectionManager.createConnection(conf); 改用ConnectionFactory 类来创建hbase客户端连接ConnectionFactory 这个类的主

HBase连接池技术先看官方文档的总体描述：hbase有两种获得connection的方法，分别是如下两种：     Connection connection = ConnectionFactory.createConnection(conf);     Connection connection = HConnectionManager.createCo

hbase权限控制HBase的权限管理依赖协协处理器。所以我们需要配置以下参数：hbase.superuser=hbasehbase.coprocessor.region.classes=org.apache.hadoop.hbase.security.access.AccessController hbase.coprocessor.master.classes=org.

hadoop 2.7.1 hbase 1.2.1性能调优

本文转载自：HBase连接池 -- HTablePool被Deprecated之后1.连接HTable是HBase的client，负责从meta表中找到目标数据所在的RegionServers，当定位到目标RegionServers后，client直接和RegionServers交互，而不比再经过master。HTable实例并不是线程安全的。当需要创建HTable实例

本文转载自：spring-hadoop之操作hbaseSrping对于属于java web技术的程序员都不会陌生，jdbcTemplate更是用的熟之又熟，下面我们来认识一下Spring大家庭的新成员：Spring-data-hadoop项目。Spring-hadoop这个项目应该是在Spring Data项目的一部分（Srping data其余还包括把Spring和JDBC，REST

本文转载自http://blog.youkuaiyun.com/whos2002110/article/details/36874389spring 提供了HbaseTemplate 对Hbase数据库的常规操作进行了简单的封装。get,find方法分别对应了单行数据查询和list查询。这些查询都要开启和关闭hbase数据库链接[java] view p

二级索引与索引Join是多数业务系统要求存储引擎提供的基本特性，RDBMS早已支持，NOSQL阵营也在摸索着符合自身特点的最佳解决方案。这篇文章会以HBase做为对象来讨论如何基于Hbase构建二级索引与实现索引join。文末同时会列出目前已知的包括0.19.3版secondary index, ITHbase, Facebook方案和官方Coprocessor的介绍。理论目标在H