hbase详解
关注
分享
扫一扫
文章平均质量分 79
深入分析hbase的原理和常用的设计技巧，并给出常用的一些问题解决方法。
文大侠666
专注安全领域，擅长Go/C++，玩点大数据。
展开
-
为什么Hbase按前缀查询慢
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结问题使用hbase shell时我们经常会按前缀查询，如下scan 't1', {ROWPREFIXFILTER => 'row2'}现在想在java client中实现类似的按前缀查询，如何做呢？网上给的解决方案大多是基于PrefixFilter的，代码如下public void scane..原创 2020-09-10 09:59:30 · 3470 阅读 · 13 评论 -
10.go 批量写hbase方法和坑
thrift go 使用批量写入写入的几处坑源码下载thrift go 使用和python使用类似，使用go 也需要通过thrift接口访问hbase，参考之前，如下编译thrift接口thrift -gen go ./Hbase.thrift目录gen-go下即为生成的hbase访问库，也可以直接使用附件生成好的库，当前使用的hbase 2.x环境。thrift1接口建...原创 2019-04-21 13:05:57 · 1939 阅读 · 0 评论 -
9.python 查询hbase2 (三)
环境准备连接查询扫描源码下载前文有说thrift连接操作hbase略显麻烦，happybase完美解决这些问题，操作接口很类似hbase shell，性能和异常处理相对官方版本也做了诸多优化，可谓真的相当的happy了。唯一的问题是这是个第三方库(Github地址)，目前作者还在维护，除非你要完全跟上最新Hbase 接口或者希望多个语言接口尽可能保证一致，强烈推荐此库。环境准备...原创 2019-03-10 16:55:05 · 559 阅读 · 0 评论 -
8.python 查询hbase2 (二)
环境准备连接查询扫描源码下载上篇文章讲述了python如何通过thrift连接操作hbase，是官方最常用方法，但是略显麻烦。下面介绍两种更易用的场合，在指定的场景中可以考虑使用，本节介绍thrift2，下节介绍happybase方式。环境准备thrift2是当时为了适应新的Java API提出来的。它的操作和接口与Java API接口很像，但是目前没有完全支持所有thrif...原创 2019-03-10 16:54:06 · 793 阅读 · 0 评论 -
7.python 查询hbase2 (一)
thrift环境准备连接查询扫描源码下载thrift环境准备hbase是接口API是java的，如果需要通过python来操作的话，可以使用thrift服务。使用thrift需要部署thrift接口服务和thrift客户端环境，thrift负责将操作请求翻译后调用Java API操作，客户端thrift负责序列化请求后传输。示意如下：客户端和接口可以装在同一台机器上，也可以...原创 2019-03-10 16:53:06 · 1882 阅读 · 0 评论 -
6.thrift centos编译
编译问题下载业界两大RPC框架thrift(Facebook)和protobuf(Google)现在可是用的非常普遍，linux上编译thrift遇到不少坑，记下来供有需要的朋友参考。编译系统环境：操作系统为CentOS 6.5g++版本4.4(要求必须g++版本 >= 4.2)下载：http://thrift.apache.org/download当前编译...原创 2019-03-10 16:50:44 · 585 阅读 · 0 评论 -
5.hbase 批量导入数据
Bulk LoadingImporttsv生成HFile导入HBase自定义MR生成HFile导入HBase注意事项源码下载Bulk Loading向hbase写入数据常用两种方式：客户端 API写入Mapreduce任务TableOutputFormat格式输出然而，对于超大量的数据写入，这两种方式都不合适，会非常占用内存和耗时而且JVM GC和...原创 2019-03-13 09:21:02 · 3109 阅读 · 0 评论 -
4.hbase 表设计原则
反范式很重要不用区分行和列牢记有序和行键设计- key均匀化- 组合key(索引)设计不同于传统关系数据库围绕数据先建模再考虑查询，HBase(Cassandra等NOSQL)强调围绕查询进行建模，干什么活做什么设计，海量数据就没必要多余的设计了。具体总结包含如下三大原则：反范式很重要传统关系数据库中，期间遵循数据设计的三大范式，减小数据冗余，彼此间通过关系引用，hbase...原创 2019-03-30 21:41:57 · 1241 阅读 · 0 评论 -
3.hbase 存储模型和存储过程分析
逻辑存储模型物理存储模型存储过程- 查询- 写入- 删除hbase为什么可以存储PB级的数据还可以保证千万QPS的并发和ms级的访问速度，这得离不开它巧妙的存储模型和存储过程。另一方面，只有清楚了解hbase存储模型和存储过程才能设计好hbase最关键的行键。逻辑存储模型逻辑上，可以把Hbase看成一个多维的哈希表，行键(Rowkey)-列族(Column Family)-...原创 2019-03-30 21:39:53 · 2081 阅读 · 0 评论 -
2.hbase 安装
下载和版本选择安装Java环境解压安装包配置开启和测试下载和版本选择官网下载 https://hbase.apache.org/downloads.html镜像下载 https://supergsego.com/apache/hbase/当前我下载的是2.0.4的稳定版，这也是当前公司集群布置的版本，靠谱!现在很多公司还在用0.9x/1.x版本，2.x版本相对来说无论是...原创 2019-03-27 21:07:37 · 259 阅读 · 0 评论 -
1.大数据存储选型——何时用hbase
数据库发展NoSQLSharding-nothing存储选型要搞懂大数据存储选型，首先必须得了解数据库的发展历史，了解关系数据库的优势和缺点，才能进一步考虑如何处理这些问题。数据库发展简单来说，数据库的发展是跟随数据量的发展来发展的，最开始的时候LAMP已经足够使用，当海量大数据出现后，如何存储和查询这些数据就成了人们考虑的问题，这时候人们自然想到从两方面入手：硬件...原创 2019-03-27 21:09:32 · 1940 阅读 · 0 评论