Hbase
关注
分享
扫一扫
sh_qd
这个作者很懒，什么都没留下…
展开
-
JVM中的ExplicitGCInvokesConcurrent选项
问题描述：最近经常收到Hbase的FGC报警，但看gc日志如下：2019-12-24T14:33:12.332+0800: 9446402.403: [Full GC (System.gc()) 2019-12-24T14:33:12.332+0800: 9446402.404: [CMS: 9746276K->9749022K(44040192K), 1.8478848 secs...原创 2019-12-24 15:56:41 · 913 阅读 · 0 评论 -
zookeeper超时经验总结
问题描述在运维Hbase集群的时候，经常遇到RS进程宕掉的情况，连接zk客户端的超时时间sessionTimeout设置为180秒，查看FGC时间只有40s，为什么进程会被Kill？ 其实只这么设置根本没有任何作用，因为客户端将sessionTimeout的值传给zk时，zk还会根据minSessionTimeout与maxSessionTimeout两个参数重新调整最后的超时值...原创 2019-12-24 10:11:29 · 2877 阅读 · 0 评论 -
Hbase集群间数据迁移
背景：有两个集群（cluster-a,cluster-b），需要将cluster-a集群的两张表(table1,table2)迁移到cluster-b集群。hbase版本号：1.2.6迁移方法：使用snapshot方法迁移步骤：1.在cluserA集群开启表的复制hbase shell>alter 'table1',{NAME => 'id', REPLIC...原创 2019-11-04 20:11:20 · 562 阅读 · 0 评论 -
yz-ycsb压测hbase记录
环境准备数据准备：usertable 100 个region 并灌入数据。 hbase shell>n_splits=100 hbase shell> create 'usertable',{NAME=>'cf',DATA_BLOCK_ENCODING=>'DIFF',COMPRESSION=>...原创 2019-08-02 18:18:36 · 447 阅读 · 0 评论 -
HBase最佳实践－内存规划
文章转载自：http://hbasefly.com/2016/06/18/hbase-practise-ram/?papivq=3ss0u线上HBase集群应该如何进行参数配置？这其实是很多HBase初学者在实践环节都可能会遇到的问题，有些人会选择默认配置，有些人会选择其他公司的推荐配置；诚然，这样的参数配置在大多数情况下都能正常工作，但性能却未必最佳、资源未必都能被合理利用。本文结合笔者的实...转载 2019-07-19 14:39:31 · 394 阅读 · 0 评论 -
hbase性能压测
环境准备工具准备：ycsb 数据准备：usertable 100 个region 并灌入数据。 hbase shell>n_splits=100 hbase shell> create 'usertable',{NAME=>'cf',DATA_BLOCK_ENCODING=>'DIFF',COMP...原创 2019-07-15 12:05:22 · 941 阅读 · 0 评论 -
Hbase的优缺点
Hbase的优点及应用场景：半结构化或非结构化数据: 对于数据结构字段不够确定或杂乱无章非常难按一个概念去进行抽取的数据适合用HBase，因为HBase支持动态添加列。 记录很稀疏： RDBMS的行有多少列是固定的。为null的列浪费了存储空间。HBase为null的Column不会被存储，这样既节省了空间又提高了读性能。 多版本号数据： 依据Row key和Column ke...原创 2018-07-25 11:29:31 · 19936 阅读 · 0 评论 -
HBase scan setBatch和setCaching的区别
HBase的查询实现只提供两种方式：1、按指定RowKey获取唯一一条记录，get方法（org.apache.hadoop.hbase.client.Get）2、按指定的条件获取一批记录，scan方法（org.apache.hadoop.hbase.client.Scan）实现条件查询功能使用的就是scan方式，scan在使用时有以下几点值得注意：1、scan可以通过setCaching...转载 2018-07-25 10:48:09 · 186 阅读 · 0 评论 -
HBase的rowkey的设计原则
HBase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度可以对HBase中的数据进行快速定位。HBase中rowkey可以唯一标识一行记录，在HBase查询的时候，有两种方式：1、通过get方式，指定rowkey获取唯一一条记录 2、通过scan方式，设置startRow和sto...原创 2018-07-25 10:44:03 · 408 阅读 · 0 评论 -
Hbase RegionServer 在集群内部不同组之间移动
方法一1.先关指定组的balance#hbase shell进去关某个分组：hbase shell>group_set_balance_switch '$group1',false关全局：hbase shell>balance_switch false2. 移走regionnohup hbase org.apache.hadoop.hbase.uti原创 2017-06-19 23:26:12 · 867 阅读 · 0 评论 -
hbase参数配置优化
zookeeper.session.timeout默认值：3分钟（180000ms）说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zookeeper从RS集群清单中移除，HMaster收到移除通知后，会对这台server负责的regions重新balance，让其他存活的RegionServer接管.调优：这个tim转载 2017-05-25 16:23:58 · 307 阅读 · 0 评论 -
Hbase集群迁移
Hbase集群迁移源集群A目标集群B 启动迁移任务的集群C，如果A或B集群的磁盘够大，也可以选择其中任意一个集群，用来启动迁移任务。数据流向：A->C->B分别消耗A集群的出口流量，C集群的出入流量，B集群的入口流量。由于pipeline的写入模式，流量还会在B集群内部再放大。一、准备源集群A和目标集群B由于网络的特殊性，需要在源集群A准备配置文件~/hadoo原创 2017-01-22 13:13:27 · 1308 阅读 · 0 评论 -
Hbase常用命令
名称 命令表达式 查看有哪些表 list 获得表的描述 describe '$tablename' 更改表定义 alter '$tablename'… 创建表 create '$tablename', '$col1','$col2','$coln' 添加记录 put '$tablename', '$rowkey', '$col:'...原创 2017-01-22 12:48:16 · 253 阅读 · 0 评论 -
深入分析HBase Compaction机制
Compaction介绍转载 2017-01-05 17:36:30 · 513 阅读 · 0 评论 -
深入 HBase 架构解析
深入 HBase 架构解析转载 2016-12-28 14:05:43 · 568 阅读 · 0 评论