weixin_44769733的博客

一:Phoenix的介绍 phoenix，中文译为“凤凰”，很美的名字。Phoenix是由saleforce.com开源的一个项目，后又捐给了Apache基金会。它相当于一个Java中间件，提供jdbc连接，操作hbase数据表。Phoenix是一个HBase的开源SQL引擎。你可以使用标准的JDBC API代替HBase客户端API来创建表，插入数据，查询你的HBase数据。Phoenix的团队...

一:基本介绍 优点: 1.大: 一个表可以存储上亿行数据,上百万列数据 2.面向列:面向列的存储和权限控制,列独立检索 3.稀疏:对于为空的列(null)不占用存储空间,可以存储得很疏松 发展历史: 来源于google的BigTable论文 官方网站：http://hbase.apache.org 二:结构 数据库以region的形式存在 支持HDFS文件系统 使用WAL（Write-Ahead...

一:HBase的shell命令操作 HBase作为一个nosql数据库,不支持sql的查询 shell命令操作实现的功能也有限,所以一般作为测试使用 可以通过整合hive以及hue实现他的sql查询以及复杂的join多表关联查询 1.进入shell操作界面 bin/hbase shell 如果配置了环境变量,可以直接使用 hbase shell 命令即可 2.查看所有表 list 3.创建表 cr...

一: 组件介绍 1.client客户端 包含访问hbase的接口,client维护者一些cache来加快hbase的访问,比如region的位置信息 2.zookeeper 保证任何时候集群中只有一个hmaster工作(维持高可用) 存储所有region的寻址入口 实时监控region server 的状态,将region server 的上下线的信息实时通知到master 存储hbase的sc...

一:HBase的预分区 1.预分区的作用 增加数据的读写效率 实现负载均衡,避免数据倾斜 方便集群的容灾调度region 优化map数量 2.实现预分区的方式–三种 1.创建表的时候手动创建 create ‘表名’ , ‘列族1’ , ‘列族2’ , SPLITS => [‘1000’,‘2000’,‘3000’,‘4000’] 2.十六进制算法自动生成预分区 create ‘表名’ , ‘...

前言; es整合hbase实现二级索引的目的,只要是因为hbase不具备全文检索,只有rowkey是全局的唯一标识,在大量数据的前提下,想要根据字段进行检索,没办法利用rowkey就会出现效率低下的情况.刚好es具备全文检索的优良传统,两个优秀的框架注定是要擦出点火花来的. 设计思想: 在es中存储标题，在hbase 中存储正文 实现思路: 1.使用代码解析excel,读取excel的内容 2.将...