星空的风fly

1、创建表#创建表t_task_log，其他保持默认create 't_task_log', 'data'#创建表t_task_log，列族data，并预分区[0,f]，预分区根据row的业务设计create 't_task_log', 'data', SPLITS => ['0', '1','2', '3','4', '5','6','7','8','9','a', 'b',...

碰到这样一个需求，需求方需要根据一个人的联系方式得到一度联系人的一度联系人，即二度关系人脉的存储，就是我们朋友的朋友，并且要求一下子把一二度联系人全部返回。这种关系就像QQ、支付宝好友中可能认识的人，抖音中关注他的人也关注了他。由于关系人非常多，至少也得四五个亿，自然想到Hbase作为存储。并且是一下把一二度关系人全部返回，即我们每一个朋友的朋友都要返回，这就决定了我们不能单一关系存储，因为单...

本文来自于2018-09-15在深圳举办第五次HBase Meetup会议，毕杰山，华为云CloudTable(表格存储服务)主任工程师，长期聚焦于HBase及其它开源NoSQL技术，对各种分布式存储技术(KeyValue存储，文档存储，图存储，搜索引擎，时序/时空数据库等)抱有浓厚的兴趣RowKey设计可以说是一个非常基础的话题，因为每一个HBase的使用/开发人员，都是从表/RowKey设...

转载自范欣欣个人博客：http://hbasefly.com/相信长时间运维HBase集群的童鞋肯定都会对RIT（Region-In-Transition，很多参考资料误解为Region-In-Transaction，需要注意）有一种咬牙切齿的痛恨感，一旦Region处于长时间的RIT就会有些不知所措，至少以前的我就是这样过来的。正所谓“恐惧来源于未知”，不知所措意味着我们对RIT知之甚少，然...

转载自HBase技术社区，http://www.hbase.group/article/49原文来自 中国HBase技术社区第3届 MeetUp 杭州站 范欣欣的分享范欣欣，网易杭州研究院技术专家，就职于网易研究院后台技术中心数据库技术组专注于HBase的开发运维，热衷于MySQL等相关数据库技术HBCK - HBCK检查什么？(1)HBase Region一致性 集群中...

Hbase虽然能提供海量数据的实时读写，但是一旦数据量非常大，查询延迟也会非常高，所以要做好优化工作。一、表结构设计1、列族越少越好（1）列族（cf）数量，在内存结构中一个cf对应一个store区域，一个store中又存在多个storefile小文件，小storefile是不断合并新的大的storefile，数据量大了，storefile自然会多，合并任务也自然增多，会降低性能，增加列...

不知不觉，使用hbase一年有余，今天就把hbase 提供的Java API总结一下，虽然不够全，方便个人以及小伙伴们日后使用1、maven pom坐标引入jar<repositories> <!--cloudera仓库地址--> <repository> <id>cloudera</...

一、Hbase简介Hbase是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。依托Hadoop-HDFS作为其文件存储系统，利用MapReduce来处理海量数据，用Zookeeper作为其分布式协同服务，主要用来存储非结构化和半结构化的松散数据（列存 NoSQL 数据库）。二、 Hbase数据模型1、存储模型分布下边表示了一行，三列的数据，CF1、CF2、CF3是三个...

TTL简述TTL缩写Time To Live，即生存期。TTL是作用于列族的，它设置了一个基于时间戳的临界值， 内部的管理会自动检查TTL值是否达到上限，在major合并过程中时间戳被判定为超过TTL的数据会被自动删除。TTL参数的单位是秒，默认值是Integer.MAX_VALUE，即2^31-1=2 147 483 647 秒，大约68年。使用TTL默认值的数据可以理解为永久保存。...