
hbase
文章平均质量分 87
农村外出务工男
不创出另一片天地,不删此状态
展开
-
HBase1.2.3版本表属性介绍
一、查看表 二、属性介绍 2.1 BLOOMFILTER 布隆过滤器,可选值NONE|ROW|ROWCOL,默认为NONE,该参数可以单独对某个列簇启用。对于get操作以及部分scan操作可以剔除掉不会用到的存储文件,减少实际IO次数,提高随机读性能。Row类型适用于只根据Row进行查找,而RowCol类型适用于根据R原创 2018-01-24 08:35:25 · 741 阅读 · 0 评论 -
HBase1.2.3版本常用配置参数说明
一、前言 主要针对HBase的1.2.3版本参照官网,对其常用配置参数进行翻译说明,供查阅。 二、配置参数说明 hbase.tmp.dir ${java.io.tmpdir}/hbase-${user.name} Temporary directory on the local filesystem. Change this setting to原创 2018-01-24 08:43:36 · 3262 阅读 · 0 评论 -
HBase1.2.3版本HRegion的Spilt操作触发机制
第一节:触发时机 一、如果某个HRegion下的某个HStore下的所有的HFile的大小超过了 这个默认配置, 那么这个HRegion会被拆分 二、 当某个HS上的HRegion个数达到这个数量时,不进行拆分 三、在hfile合并的时候,如果合并后的store的大小超过了 hbase.hregio原创 2018-01-24 08:55:11 · 826 阅读 · 0 评论 -
HBase1.2.3版本memstore flush触发机制以及HRegionServer级别触发源码分析
一、Memstore存在的意义? 在HBase中,每个HRegionServer上有多个HRegion,每个HRegion上有多个HStore,而Memestore作为一个HStore的组成部分,当我们大量写操作发生的时候,如果超过了Memstore的设置阀值,就会执行flush到Hfile文件的操作。默认情况下hbase底层存储的文件系统为hdfs,但是HDFS在存储的原创 2018-01-24 09:19:48 · 1123 阅读 · 3 评论 -
HBase1.2.3版本客户端请求如何定位HRegion的位置
一、为什么需要定位 hbase是一个主从的master/slave架构,默认使用zk的选举来支持HMaster的高可用实通过监听临时节点,使用类似分布式锁的方法来争抢创建节点后成为新的master。 一个HMaster通常会对应多个HRegionServer,而每一个HRegionServer又可以有多个HRegion,需要注意的是,我们的Table数据刚开始的原创 2018-01-24 09:39:40 · 1835 阅读 · 0 评论 -
HBase常用服务调用封装
一、前言 生产刚刚接入HBase,应用对其数据的获取的几种方式如get,scan,scan range进行了相关服务封装 二、服务封装 package com.hbase.sources; import java.io.IOException; import java.util.ArrayList; import java.util.Date;原创 2018-01-24 09:53:16 · 760 阅读 · 0 评论 -
HBase-1.2.3版本常用优化策略
一、hbase优化之我见 Hbase作为一个分布式系统,本身代码量庞大,在整个Hadoop社区中,hbase的代码量是最多的,模块也很多。作为一个NoSql数据库,对其的优化无非就是想达到在保证读写的低延迟下,尽可能少的利用资源,做到资源最大化利用。一般来说,对Hbase的优化涉及的点比较广,比如hbase本身代码优化, 读的优化,写的优化,JVM配置,网络环境保障,hdfs的数据本地性等原创 2018-01-19 10:01:41 · 431 阅读 · 0 评论 -
HBase1.2.3版本HRegion的负载均衡实现源码分析
一、HRegion的负载均衡 负载均衡主要用来解决热点问题,使请求更均匀的发送给不同的应用服务器,Hbase是一个典型的主从架构,HMaster负载整个集群的资源调度,任务分配,而数据的IO操作是在HRegionServer上,每个HRegionServer会有N个HRegion,存的是每张表的一部分数据,而HRegionServer里的HRegion之间的负载影响着整个Hbase集原创 2018-01-19 18:52:31 · 958 阅读 · 0 评论 -
HBase1.2.3版本存储结构分析
一、Hbase能做什么 1、海量数据存储(几百亿的行+上百亿列) 2、检索数据(get,scan,scan range)------>准实时(毫秒,秒级别) 特点: 1、伸缩性强:数据量在无法预估的情况下增大,比如使用MySQL,大到一定程度,添加机器,使用mysql集群做读写分离,然后分库分表,复杂度增大很多,而hbase只需要简单的添加一台机器就可实现负载均衡。原创 2018-01-19 19:01:31 · 524 阅读 · 0 评论