hbase
关注
分享
扫一扫
文章平均质量分 86
varyall
这个作者很懒，什么都没留下…
展开
-
Phoenix-HBase的SQL引擎简介
一、介绍Phoenix是什么? Phoenix=HBase+SQL 可以理解为在HBase的上层套了一层SQL引擎，支持用sql方式访问HBase。 支持毫秒到秒级的低延时OLTP和操作型分析查询 Phoenix能做什么? 1.支持标准的SQL语法 转为HBase API 2.支持将算子、过滤条件下推到server端，并行执行 3.二级索引、分页查询、Join、轻量级事务等能力结构:客户端 : JDBC程序或命令行，...原创 2020-12-23 18:06:59 · 717 阅读 · 0 评论 -
Phoenix(HBase SQL)核心功能原理及应用场景介绍
简介：概况了Phoenix(云HBase SQL) ) 入门到精通系列大多数内容，介绍了核心功能原理，相关生态工具及应用场景转载 2020-12-23 18:05:44 · 337 阅读 · 0 评论 -
列式数据库和行式数据库的区别
前言最近学习了hbase，其中涉及的到知识就是hbase采用了列式存贮，而用惯了mysql的我当然一脸懵逼，于是有了本篇文章，本文不是论文，所有涉及的知识点他人都有讲，我只是为了记录一下，如果想要看论文性质的，推荐一篇为《Column-Stores vs. Row-Stores: How Different Are They Really?》，可以自行观看，其中有大量的测试，分析，十分详尽。存贮数据的方式第一个对比的就是存贮数据的方式。现来说行式。比如mysql，我们通过观察知道，他是一行一转载 2020-10-20 15:59:44 · 470 阅读 · 0 评论 -
HBase篇(1)-特性与应用场景
结束了Zookeeper篇， 接下来我们来说下Google三驾马车之一BigTable的开源实现：HBase，要讲的内容暂定如下：这是第一篇我们先不聊技术实现，只讨论特性和场景hbase的特点千万级高并发 PB级存储 非结构化存储 动态列，稀疏列 支持二级索引 强一致性，可靠性，扩展性（CP系统，可用性做了一点让步）场景1. 写密集型应用，每天写入量巨大，而相对读数...转载 2019-11-24 12:31:40 · 307 阅读 · 0 评论 -
[How to]HBase集群备份方法--Replication机制
1.简介 HBase备份的方法在[How to]HBase集群备份方法文章中已经有些介绍，但是这些方法都不是HBase本身的特性在支持，都是通过MR计算框架结合HBase客户端的方式，或者直接拷贝HBase的底层hdfs数据的方式进行备份的，但从操作上来说也比较繁琐复杂，数据完整性和及时性上也做的并不是很好。 本文介绍另外一种集群间的数据自动备份特性，这个特性是HBase的内部特性，用...转载 2019-11-23 23:50:05 · 262 阅读 · 0 评论 -
HBase常用操作之namespace
1、介绍在HBase中，namespace命名空间指对一组表的逻辑分组，类似RDBMS中的database，方便对表在业务上划分。Apache HBase从0.98.0, 0.95.2两个版本开始支持namespace级别的授权操作，HBase全局管理员可以创建、修改和回收namespace的授权。2、namespaceHBase系统默认定义了两个缺省的namespacehbase：系统...转载 2019-01-15 21:18:50 · 595 阅读 · 0 评论 -
【hbase】——Java操作Hbase进行建表、删表以及对数据进行增删改查，条件查询
1、搭建环境 新建JAVA项目，添加的包有: 有关Hadoop的hadoop-core-0.20.204.0.jar 有关Hbase的hbase-0.90.4.jar、hbase-0.90.4-tests.jar以及Hbase资源包中lib目录下的所有jar包 2、主要程序package com.wujintao.hbase.test; import ...转载 2019-01-18 19:55:19 · 608 阅读 · 0 评论 -
Hbase 行键设计（rowkey） 实现多条件查询
2018最新编辑本文写完的时间是2017年初写的，当时对HBASE的理解不深，随着一年多的学习，感觉这篇文章里的方法挺鸡肋的，在我近一年的工作中根本没有用到。 HBASE的使用跟业务逻辑有很强的关联性，就像本文里提到的例子使用ElasticSearch更合适。HBASE适合那种使用key-value模式的快速查询，多字段查询还是不适合它。 所以大家如果看本文的话，就全当是加深对hbase过滤...转载 2019-01-13 22:07:52 · 841 阅读 · 0 评论 -
HBase shell 命令创建表及添加数据操作
HBase shell 命令创建表及添加数据操作创建表，表名hbase_test，HBase表是由Key-Value组成的，下面给出一个hbase表的格式，方便小伙伴们理解此表有两个列族，列族1和列族2，其中列族1和列族2下分别有两个列name和age，phone和address注意：hbase的表只动态加入列的，比如说列族1下面有两列，再添加数据时，可以在动态的加一列。1 创建...转载 2019-01-13 20:16:20 · 9058 阅读 · 0 评论 -
java 获取 hbase数据 springdatahadoop -- hbasetemplate
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.youkuaiyun.com/linlinv3/article/details/42737113java 利用 sping-data-hadoop HbaseTemplate 操作hbase转载请注明出处：http://blog.youkuaiyun.com/linlinv3/article/details/427371...转载 2019-01-28 10:40:00 · 1056 阅读 · 0 评论 -
HBase filter shell操作
创建表create 'test1', 'lf', 'sf'lf: column family of LONG values (binary value)-- sf: column family of STRING values 导入数据put 'test1', 'user1|ts1', 'sf:c1', 'sku1'put 'test1', 'user1|ts2', 'sf...转载 2019-01-30 22:03:00 · 961 阅读 · 0 评论 -
行式存储和列式存储
行存储和列存储概述目前大数据存储有两种方案可供选择：行存储（Row-Based）和列存储（Column-Based）。业界对两种存储方案有很多争持，集中焦点是:谁能够更有效地处理海量数据，且兼顾安全、可靠、完整性。从目前发展情况看，关系数据库已经不适应这种巨大的存储量和计算要求，基本是淘汰出局。在已知的几种大数据处理软件中，Hadoop的HBase采用列存储，MongoDB是文档型的行存储...转载 2019-06-21 14:50:31 · 1549 阅读 · 0 评论 -
Phoenix查询hbase
https://www.cnblogs.com/linbingdong/p/5832112.html 这个很全看这个HBase，一个NoSQL数据库，可存储大量非关系型数据。HBase，可以用HBase shell进行操作，也可以用HBase Java api进行操作。HBase虽然是一个数据库，但是它的查询语句，很不太好用。要是能像使用Mysql等关系型数据库一样用sql语句操作HB...转载 2019-07-16 12:22:48 · 1730 阅读 · 0 评论 -
HBase Shell常用Shell命令
1. 进入与退出hbase shell命令行窗口[root@repo ~]# hbase shellhbase(main):001:0>hbase(main):001:0> exit[root@repo ~]#2. help(1) 查看hbase中有哪些命令(2) 查看某一组命令的下的所有命令的简介和简单示范# 例如help 'ddl'(3) ...转载 2019-07-30 15:10:45 · 386 阅读 · 0 评论 -
HBase shell scan 模糊查询
原文链接：http://www.th7.cn/db/nosql/201511/144465.shtml0.进入hbase shell./hbase shellhelphelp “get” #查看单独的某个命令的帮助1. 一般命令status 查看状态 version 查看版本2.DDL（数据定义语言Data Definition Language）命令1. 创建...转载 2019-07-30 15:32:46 · 378 阅读 · 0 评论 -
hbase导入数据同时与phoenix实现映射同步
我们的目标是：创建一个hbase表格，能够通过phoenix进行访问；同时能够导入本地数据到hbase中，最后都能够通过phoenix进行访问。1、先在hbase中创建表格create 'WHO_GOODS_LABEL','GID','INFO'2、然后在phoenix中建立相同的表名以实现与hbase表的映射create table if not exists WHO_GOOD...转载 2019-08-21 14:39:17 · 1776 阅读 · 3 评论 -
HBase的rowkey排序和scan输出顺序
本文目的：搞清楚HBase里面行与行之间的排序排序规则，如何正序和反序输出扫描结果。明确：HBase里面同一列的元素按照rowkey进行排序，排序规则是rowkey的ASCII码排序，小的在前大的在后。举例说明：rowkey的时间设计是Long.MAX_VALUE减去真实的timestamp（单位：秒）（System.currentTimeMillis()/1000得到），由此来看ro...转载 2019-01-18 16:02:19 · 10510 阅读 · 0 评论 -
HBase 常用Shell命令
转自：http://my.oschina.net/u/189445/blog/595232 两个月前使用过hbase，现在最基本的命令都淡忘了，留一个备查~ hbase shell命令 描述 alter 修改列族（column family）模式 count 统计表中行的数量 create ...转载 2019-01-18 15:37:05 · 290 阅读 · 0 评论 -
列族
HBase列式存储格式允许用户存储大量的信息到相同的表中，而在RDBMS模型中，大量信息则需要切分成多张表存储。通常的数据库范式化规则不适合HBase，因此HBase中表的数量相对较少。虽然理论上HBase表是由行和列组成的，但是从物理结构上看，表存储在不同分区，即不同的region。下图展示了数据存储逻辑与物理上的不同。每个region只在一个region服务器中提供服务，而region直接...转载 2018-12-31 21:19:34 · 484 阅读 · 0 评论 -
windows的hbase安装和使用
1 下载地址：http://mirrors.cnnic.cn/apache/hbase/hbase-0.94.27/2 设置conf下hbase-env.cmd中的JAVA_HOME：set JAVA_HOME=C:\Program Files\Java\jdk1.7.0_793 start-hbase.cmd 启动4以上就配置完了，用 Hbase Shell试一下是否能操作数据库:> c...转载 2018-02-09 14:59:12 · 1339 阅读 · 0 评论 -
Hadoop-HBase 单机部署
一、系统版本 Linux系统 wdOS-1.0-x86_64.iso 关于wdOS说明 1 安装简单,快速,去掉了安装过程中不必要的烦锁操作和不必要的选择 2 可选安装集成web环境,如lamp,lnmp,lnamp,并可相互自由切换使用 3 可选安装集成wdcp管理系统,可方便管理服务器和站点,数据库,FTP等 4 小巧,...转载 2018-02-09 18:41:05 · 261 阅读 · 0 评论 -
Linux Hadoop2.7.3 安装(单机模式) 一
Linux Hadoop2.7.3 安装(单机模式) 一 Linux Hadoop2.7.3 安装(单机模式) 二 java环境安装 http://www.cnblogs.com/zeze/p/5902124.html java 环境安装配置 etc/profile：export JAVA_HOME=/usr/jdk/jdk1.8.0_112export JRE_HOME=/usr/jdk/jd...转载 2018-02-09 18:42:03 · 2466 阅读 · 0 评论 -
Hbase shell命令简单使用
hbase shell命令的简单使用进入hbase命令行./hbase shell1显示hbase中的表list1创建user表，包含info、data两个列族create 'user', 'info1', 'data1'create 'user', {NAME => 'info', VERSIONS => '3'}12向user表中插入信息，row key为rk0001，列族inf...转载 2018-02-10 10:52:34 · 217 阅读 · 0 评论 -
HBase 体系之 Write-ahead-Log
本文翻译自: http://www.larsgeorge.com/2010/01/hbase-architecture-101-write-ahead-log.html 什么是Write-ahead-Log呢？在之前的博文中已经讲过了HBase的基本存储架构。其中提到的一个部分就是Write-ahead-Log,或者简称WAL。这边博文将详细的讲述hlog的工作流程。 ...转载 2018-05-26 00:03:16 · 1341 阅读 · 0 评论 -
HBase条件查询（多条件查询）
Author：Pirate LeomyBlog: http://blog.youkuaiyun.com/pirateleo/myEmail: codeevoship@gmail.com转载请注明出处，谢谢。文中可能涉及到的API：Hadoop/HDFS:http://hadoop.apache.org/common/docs/current/api/HBase: http://hbase.apache.org...转载 2018-05-15 14:03:32 · 7628 阅读 · 0 评论 -
HBase 二级索引的设计 (案例讲解)
HBase 二级索引的设计 (案例讲解)最近做的一个项目涉及到了多条件的组合查询，数据存储用的是HBase，恰恰HBase对于这种场景的查询特别不给力，一般HBase的查询都是通过RowKey(要把多条件组合查询的字段都拼接在RowKey中显然不太可能)，或者全表扫描再结合过滤器筛选出目标数据(太低效)，所以通过设计HBase的二级索引来解决这个问题查询需求多个查询条件构成多维度的组合查询，需要根...转载 2018-05-15 14:09:23 · 1313 阅读 · 0 评论 -
hbase非结构化数据库与结构化数据库比较
目的：了解hbase与支持海量数据查询的特性以及实现方式传统关系型数据库特点及局限 传统数据库事务性特别强，要求数据完整性及安全性，造成系统可用性以及伸缩性大打折扣。对于高并发的访问量，数据库性能不是很好，类似于互联网这样的访问量容易造成宕机。hbasehbase是基于列存储的数据库与传统的基于行存储的关系型数据库相比，可扩展性好。Hbase是一个面向列存储的分布式存储系统，它的优点在于可以...转载 2018-05-16 00:28:06 · 7841 阅读 · 1 评论 -
HBase优化实战
背景 Datastream一直以来在使用HBase分流日志，每天的数据量很大，日均大概在80亿条，10TB的数据。对于像Datastream这种数据量巨大、对写入要求非常高，并且没有复杂查询需求的日志系统来说，选用HBase作为其数据存储平台，无疑是一个非常不错的选择。 HBase是一个相对较复杂的分布式系统，并发写入的性能非常高。然而，分布式系统从结构上来讲，也相对较复杂，模块繁...转载 2018-11-19 11:11:17 · 233 阅读 · 0 评论 -
HBase讲解
1.HBase在Hadoop中的位置HBase(Hadoop Database)是一个开源的、面向列(Column-Oriented)、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。存储在HBase中的表的典型特征：大表(BigTable)：一个表可以有上亿行，上百万列 面向列：面向列的存储、检索与权限控制 稀疏：...转载 2018-12-29 19:36:21 · 283 阅读 · 0 评论 -
HBase讲解
1.HBase在Hadoop中的位置HBase(Hadoop Database)是一个开源的、面向列(Column-Oriented)、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。存储在HBase中的表的典型特征：大表(BigTable)：一个表可以有上亿行，上百万列 面向列：面向列的存储、检索与权限控制 稀疏：...转载 2018-12-29 19:36:24 · 126 阅读 · 0 评论 -
HBase讲解
1.HBase在Hadoop中的位置HBase(Hadoop Database)是一个开源的、面向列(Column-Oriented)、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。存储在HBase中的表的典型特征：大表(BigTable)：一个表可以有上亿行，上百万列 面向列：面向列的存储、检索与权限控制 稀疏：...转载 2018-12-29 19:36:26 · 224 阅读 · 0 评论 -
HBase讲解
1.HBase在Hadoop中的位置HBase(Hadoop Database)是一个开源的、面向列(Column-Oriented)、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。存储在HBase中的表的典型特征：大表(BigTable)：一个表可以有上亿行，上百万列 面向列：面向列的存储、检索与权限控制 稀疏：...转载 2018-12-29 19:36:29 · 150 阅读 · 0 评论 -
HBase讲解
1.HBase在Hadoop中的位置HBase(Hadoop Database)是一个开源的、面向列(Column-Oriented)、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。存储在HBase中的表的典型特征：大表(BigTable)：一个表可以有上亿行，上百万列 面向列：面向列的存储、检索与权限控制 稀疏：...转载 2018-12-29 19:36:35 · 107 阅读 · 0 评论 -
HBASE列族不能太多的真相 （一个table有几个列族就有几个 Store）
HRegionServer内部管理了一系列HRegion对象，每个HRegion对 应了table中的一个region，HRegion中由多 个HStore组成。每个HStore对应了Table中的一个column family的存储，可以看出每个columnfamily其实就是一个集中的存储单元，因此最好将具备共同IO特性的column放在一个column family中，这样最高效。HSt...转载 2018-12-30 22:52:06 · 1177 阅读 · 1 评论 -
HBase (2)---数据存储结构
在本文中的HBase术语:基于列:column-oriented行:row列组:column families列:column单元:cell 理解HBase(一个开源的Google的BigTable实际应用)最大的困难是HBase的数据结构概念究竟是什么？首先HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.另一个不同的是HBase基于列转载 2017-12-18 19:37:56 · 786 阅读 · 0 评论