
Hbase
hbase
郝少
爱出者爱返,福往者福来。
展开
-
Phoenix映射Hbase中的表
一、说明 phoenix虽然可以使用sql对hbase进行很方便的查询,但时在使用中会存在这样的一个问题:经过hbase创建的表在phoenix中却查不出来,phoenix默认却只能显示phoenix自己创建的表。如果要在phoenix中也查询并操作hbase创建的表及加入数据就需要在phoenix中映射hbase的表; 二、创建测试表 1、在hbase创建一个测试表user_phoenix hbase(main):023:0> create 'user_phoenix','info' 0原创 2020-06-24 11:52:52 · 1143 阅读 · 1 评论 -
【elasticsearch】Es为Hbase创建二级索引思路
一、说明 1、由于数据量巨大的时候,单纯的Hbase查询就会变得比较慢。如果让Hbase查询再快一些,就要为其创建二级索引。为Hbase创建二级索引一般有两种思路,一个思路是使用phoenix为Hbase创建二级索引,另一个思路是使用es为Hbase创建二级索引。 2、使用phoenix为Hbase创建二级索引的思路是可行,但是当查询条件变得很多时就变的很不灵活。比如我有二十个查询条件随机组合查询,每次查询都会有一到二十中条件一起用,这样的话每一种情况都要用phoenix创建索引是比较繁琐的,还容易漏掉原创 2020-06-18 14:04:58 · 2527 阅读 · 2 评论 -
Hbase中Master、RegionServer、Zookeeper、Client、Hdfs之间的关系与联系
一、总体架构图 二、Master、RegionServer、Zookeeper、Client、Hdfs之间的关系与联系 1、Hbase集群有两种服务器:一个Master服务器和多个RegionServer服务器; 2、Master服务负责维护表结构信息和各种协调工作,比如建表、删表、移动region、合并等操作; 3、客户端获取数据是由客户端直连RegionServer的,所以Master服务挂掉之后依然可以查询、存储、删除数据,就是不能建新表了; 4、RegionServer非常依赖Z.原创 2020-06-02 10:48:10 · 1842 阅读 · 2 评论 -
Phoenix增删改查JDBC
1、pom.xml <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.2.6</ve...原创 2020-03-17 15:45:09 · 949 阅读 · 0 评论 -
Phoenix为Hbase创建二级索引
一、概念 1、索引分类 二级索引主要分为全局索引和本地索引,其中全局索引包含覆盖索引和函数索引(Phoeinx 4.3 版本之后新增的); 2、索引概念 Global Indexes(全局索引)。 全局索引将索引表和数据表分开存储,都会创建一张新的索引表,因此每条数据和其索引数据可能会分布在不同的数据节点上,数据表的添加、删除和修改都会更新相关的索引表,所以写入数据时由于额外的网络开销会带...原创 2020-03-17 11:54:27 · 311 阅读 · 0 评论 -
Phoenix单线程psql方式导入csv数据到hbase
一、准备阶段 1、建表语句 create table student(id integer not null primary key,"cf"."name" varchar,"cf"."age" integer,"cf"."address" varchar); 2、数据准备 说明:这里准备600条测试数据 3、将student01.csv数据放入本地/home/test目录下 ...原创 2020-03-17 10:47:41 · 1254 阅读 · 0 评论 -
Phoenix的shell简单操作
1、查询所有表 0: jdbc:phoenix:master,slaves1,slaves2:2181> !tables 2、新建一张表 注意:表名和列族名以及表名如果需要小写都得加双引号,否则创建出来的表名、列族名称和列名都是大写的。 0: jdbc:phoenix:master,slaves1,slaves2:2181> create table "student"(i...原创 2020-03-16 17:45:22 · 274 阅读 · 0 评论 -
phoenix创建索引出错
1、问题 0: jdbc:phoenix:master,slaves1,slaves2:2181> create index "stu_index" on "student"("cf"."name"); Error: ERROR 1029 (42Y88): Mutable secondary indexes must have the hbase.regionserver.wal.cod...原创 2020-03-16 16:45:15 · 460 阅读 · 0 评论 -
Phoenix安装
一、说明 (1)phoenix,中文译为“凤凰”,很美的名字。Phoenix是由saleforce.com开源的一个项目,后又捐给了Apache基金会。它相当于一个Java中间件,提供jdbc连接,操作hbase数据表。 (2)在安装phoenix之前要安装hadoop、hbase、zookeeper组件 (3)phoenix的版本要和hbase的版本相匹配,比如我的hbase版本是hbas...原创 2020-03-16 10:17:50 · 711 阅读 · 0 评论 -
Hbase集群搭建
一、说明 1、三台虚拟机:master、slaves1、slaves2 2、hbase版本:hbase-1.2.6 3、前提:hbase依赖zookeeper和hadoop 二、集群搭建 1、上传安装包及解压 [root@master hbase]# tar -zxvf hbase-1.2.6-bin.tar.gz 2、修改conf/hbase-env.sh #java安装...原创 2020-03-09 17:09:29 · 391 阅读 · 0 评论 -
Hbase热点问题、数据倾斜和rowkey的散列设计
1、分布式与并行处理分布式系统 通常,我们说分布式系统的时候,我们都会想到Dubbo框架和SpringCloud框架。这两个框架现在应该是国内用的比较多的两个分布式框架了,特点都是很容易把服务部署在多台机器组成一个高可用的服务集群来应对高并发。所以,我们通常认为分布式系统就是多台机器组成一个集群对外提供服务,每个请求也会被分配到集群中的一台或者多台机子上完成,而用户是感觉不同整个系统封装的细节。多...转载 2019-07-13 14:45:04 · 432 阅读 · 0 评论