HBase
关注
分享
扫一扫
oo寻梦in记
这个作者很懒，什么都没留下…
展开
-
【HBase进阶】-- HBase万亿级存储性能优化总结(0.94版本)
8.hbase.hregion.memstore.block.multiplier：默认值2，如果一个memstore的内存大小已经超过hbase.hregion.memstore.flush.size * hbase.hregion.memstore.block.multiplier，则会阻塞该memstore的写操作，为避免阻塞，建议设置为5，如果太大，则会有OOM的风险。2.hbase.master.distributed.log.splitting：默认值为true，建议设为false。转载 2022-09-19 14:04:43 · 650 阅读 · 0 评论 -
【HBase基础】-- HBase 在 HDFS 上的目录说明
1 说明HBase 在 HDFS 上的目录共有 3 部分：根目录、表目录和 Region 目录。2 目录说明2.1 根目录xml 配置：<name> hbase.rootdir</name>默认 “/hbase”(1)/hbase/WALs被 HLog实例管理的WAL文件。## /hbase/WALs/data-hbase.com,60020,1542159360923对于每个HregionServer,日志目录中都包含一个对应的子目录## h.原创 2020-09-26 16:23:00 · 2116 阅读 · 0 评论 -
【HBase 进阶】-- Region 过多的影响 & 合理分区数量
1 背景 最近，在使用 HBase 预分区时，创建的 region 太多 ，集群不堪重负，由此带来了 HBase 的意外宕机。2 一些概念推荐查看此文章：https://www.cnblogs.com/swordfall/p/8737328.html3 Region 数量和大小3.1 Region 数量我的理解：较少的 region 数量能使群集运行的更加平稳，官方建议：每个 regionserver 拥有小于 100 个 region 时集群最稳定。...原创 2020-07-12 11:17:00 · 3429 阅读 · 0 评论 -
[HBase基础]--40种HBase Filter的使用说明
版本：HBase-1.2.x参考：http://hbase.apache.org/1.2/devapidocs/org/apache/hadoop/hbase/filter/package-use.html#org.apache.hadoop.hbase.filterhttp://hbase.apache.org/1.2/devapidocs/index.html说明：Classes in org...转载 2018-05-11 11:54:39 · 1048 阅读 · 0 评论 -
[HBase基础]--RowKey查询(Scan和Get比较)
一、HBase查询方式 hbase的查询实现只提供两种方式：按指定rowkey获取唯一一条记录：get方法。按指定条件获取一批记录：scan方法。 实现条件查询功能使用的就是scan方式，scan在使用时有以下几点值的注意：scan可以通过setCaching与setBatch方法提高速度（以空间换时间）scan可以通过setStartRow与setEndRow来限定范围。范围越小，性...原创 2018-05-05 13:28:37 · 24869 阅读 · 0 评论 -
[HBase进阶]--Memstore Flush深度解析
感谢原文链接：http://hbasefly.com/2016/03/23/hbase-memstore-flush/Memstore是HBase框架中非常重要的组成部分之一，是HBase能够实现高性能随机读写至关重要的一环。深入理解Memstore的工作原理、运行机制以及相关配置，对hbase集群管理、性能调优都有着非常重要的帮助。Memstore 概述HBase中，Region是集群节点上最小...转载 2018-06-12 13:08:22 · 3214 阅读 · 1 评论 -
[HBase进阶]--深入HBase架构解析（一）
感谢原文链接：http://www.blogjava.net/DLevin/archive/2015/08/22/426877.html前记公司内部使用的是MapR版本的Hadoop生态系统，因而从MapR的官网看到了这篇文文章：An In-Depth Look at the HBase Architecture，原本想翻译全文，然而如果翻译就需要各种咬文嚼字，太麻烦，因而本文大部分使用了自己的语...转载 2018-06-12 20:39:51 · 600 阅读 · 0 评论 -
[HBase进阶]--深入HBase架构解析（二）
感谢原文链接：http://www.blogjava.net/DLevin/archive/2015/08/22/426950.html前言这是《深入HBase架构解析（一）》的续，不多废话，继续。。。。HBase读的实现通过前文的描述，我们知道在HBase写时，相同Cell(RowKey/ColumnFamily/Column相同)并不保证在一起，甚至删除一个Cell也只是写入一个新的Cell，...转载 2018-06-12 20:41:00 · 957 阅读 · 0 评论 -
[HBase调优]--RegionServer 的JVM 垃圾回收优化
感谢原文链接：https://blog.youkuaiyun.com/lihui6636/article/details/420406191、为何HMaster一般不需调整垃圾回收机制HMaster 没有处理过重的负载，并且实际的数据服务不经过 HMaster，所以垃圾回收时 HMaster 通常不会产生问题。2、描述JRE的启发式算法JRE 在默认情况下会按照一般情况下来估计程序在做什么、怎么创建对象、如何...转载 2018-05-30 15:58:34 · 2177 阅读 · 0 评论 -
[HBase进阶]--HBase最佳实践之HBase查询优化
感谢原文作者：http://www.cnblogs.com/smartloli/p/9425343.htmlHBase查询优化1.概述HBase是一个实时的非关系型数据库，用来存储海量数据。但是，在实际使用场景中，在使用HBase API查询HBase中的数据时，有时会发现数据查询会很慢。本篇博客将从客户端优化和服务端优化两个方面来介绍，如何提高查询HBase的效率。2.内容这...转载 2018-08-06 15:21:06 · 2574 阅读 · 0 评论 -
[HBase基础]--LSM树由来、设计思想以及应用到HBase的索引
感谢原文作者：E-mail: huahuiyang@gmail.com https://www.linkedin.com/in/huahuiyang/ http://www.cnblogs.com/yanghuahui/p/3483754.html 讲LSM树之前，需要提下三种基本的存储引擎，这样才能清楚LSM树的由来：哈希存储引擎 是哈希表的持久化实现，支持增、删、改以及随机...转载 2018-11-09 16:50:48 · 1595 阅读 · 0 评论 -
[Phoenix基础]-- 二级索引应该使用local Index还是global Index？
版本：phoenix 4.12.0说明：1、一个global index表对应着一个hbase 表，local index是在主表上新增一列存储索引数据。2、适用场景global index ：适用于多读的场景，但是存在同步索引时带来网络开销较大的问题。local index ：由于和原数据存储在一张表中同步索引数据会相对快一点。3、推荐使用 global index原...原创 2018-11-29 22:49:06 · 1388 阅读 · 0 评论 -
[面试]-- Hbase面试问题
1.hbase怎么预分区？2.hbase怎么给web前台提供接口来访问？3.htable API有没有线程安全问题，在程序中是单例还是多例？4.hbase有没有并发问题？5.metaq消息队列，zookeeper集群，storm集群，就可以完成对商城推荐系统功能吗？还有没有其他的中间件？6.storm 怎么完成对单词的计数？7.hdfs的client端，复制到第三个副本时宕...转载 2017-07-18 10:33:41 · 2018 阅读 · 0 评论 -
[Java基础]-- 检查jar包中是否包含某个类和查看hbase环境变量
1、使用命令查看类jar -vtf phoenix-4.8.0-cdh5.8.0-server.jar | grep 'org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec' 2、查看hbase环境变量hbase classpath | grep opt ...原创 2017-06-13 16:36:30 · 2047 阅读 · 0 评论 -
[HBase基础]--初识HBase
HBase是什么？HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop 项目的子项目。HBa...原创 2018-05-01 21:20:22 · 563 阅读 · 0 评论 -
[HBase基础]--详解SSTable结构和LSMTree索引
感谢原文转载链接：https://blog.youkuaiyun.com/sdulibh/article/details/49719877The Sorted String Table (SSTable) is one of the most popular outputs for storing, processing, and exchanging datasets. An SSTable is a si...转载 2018-05-01 21:01:28 · 3052 阅读 · 0 评论 -
[HBase基础]-- 使用传统hbase的api创建hbase表（scala）
本地执行主类实现采集hbase表一、使用传统hbase的api创建hbase表（scala本地运行类，并且集群不需要kerberos认证） 1、环境准备：idea 16+scala-2.10.4+cdh-spark-1.6.1+jdk-1.7+hbase-1.2.0-cdh5.8.02、导入相关jar包，见pom.xml<?xml version="1.0"encodin...原创 2016-09-10 12:38:50 · 5766 阅读 · 0 评论 -
[HBase基础]-- java 调用hbase api创建hbase分区表
java 调用hbase api创建hbase分区表运行环境：idea16+jdk-1.7+hbase-cdh-1.2.0+cdh-5.8.0 一、新建maven项目，编写pom.xml文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0....原创 2016-09-10 15:54:51 · 5253 阅读 · 0 评论 -
[HBase基础]-- spark创建hbase表(非分区表)
一、spark本地或者集群创建hbase表(不需要Kerberos认证)、并且插入数据 1、环境准备：idea 16+scala-2.10.4+cdh-spark-1.6.1+jdk-1.7+hbase-1.2.0-cdh5.8.0 2、 (1)创建maven工程:pdf-hbase(2)新建一个文件夹libs，导入cdh的spark jar，添加jar到项目中spark-...原创 2016-09-10 15:11:33 · 3898 阅读 · 0 评论 -
[HBase进阶]-- 基本API操作详解
引言之前详细写了一篇HBase过滤器的文章，今天把基础的表和数据相关操作补上。本文档参考最新（截止2014年7月16日）的官方Ref Guide、Developer API编写。所有代码均基于“hbase 0.96.2-hadoop2”版本编写，均实测通过。 概述对于建表，和RDBMS类似，HBase也有namespace的概念，可以指定表空间创建表，也可以直接创建表，进入...转载 2016-11-14 11:51:14 · 4524 阅读 · 0 评论 -
[HBase 基础]-- HBaseConfiguration类，参数说明
一、配置说明import org.apache.hadoop.hbase.HConstants二、源代码信息如下/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * dis...原创 2017-02-09 10:09:32 · 13049 阅读 · 1 评论 -
[HBase 基础]-- 增删改查表(包含过滤)
一、简单模式的实现的代码如下import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop.hbase....原创 2017-07-10 23:31:38 · 635 阅读 · 0 评论 -
[HBase配置]-- 常数说明（2.x之前版本）
参考官方：https://hbase.apache.org/apidocs/constant-values.htmlhttps://hbase.apache.org/apidocs/org/apache/hadoop/hbase/HConstants.html#MAX_ROW_LENGTH包含每一种说明SKIPNAVIGATION LINKSHConstantsholds a ...原创 2017-07-05 10:05:44 · 1293 阅读 · 0 评论 -
[Hive基础]-- Hive创建HBase表
hive和hbase同步https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration1、把hive目录中的hive-hbase-handler-1.2.1.jar cp到hbase/lib 下(h15/h16/h17上，都要有) ## scp /home/hive-1.2.1/lib/hive-hbase-han...原创 2016-06-07 09:53:29 · 1536 阅读 · 0 评论 -
[Elasticsearch基础]-- 整合hbase步骤
1:在hh15\hh16\hh17上启动hbase集群：先启动zookeeper-3.4.6：#sh /home/zookeeper-3.4.6/bin/zkServer.sh start再启动hdfs:#start-dfs.sh #start-yarn.sh最后启动hbase:#start-hbase.sh 2:设计索引库的settings信息和mappings...原创 2016-06-07 09:48:39 · 8799 阅读 · 0 评论 -
[Squirrel基础]-- squirrel安装（通过Phoenix连接 HBase）
注意：使用Squirrel 链接 Phoenix的前提是 HBase 集群已经集成了 Phoenix 一．下载安装(squirrel是一个连接hbase数据库的界面工具)从网址http://www.squirrelsql.org/下载相应版本的squirrel的安装jar包，比如下载squirrel-sql-3.7-standard.jar双击安装，出现如下安装界面，下一步开始安装...原创 2016-06-06 15:32:30 · 7313 阅读 · 4 评论 -
[HBase基础]-- 安装hbase分布式集群（h15\h16\h17上操作，原因是在这些机器上有zookeeper-3.4.6）
hbase整体架构 数据模型 1. 在h15上启动hadoop集群和zookeeper集群 2. 上传解压，配置环境变量，然后生效：# vi ~/.bash_profile# source ~/.bash_profile 3. 在hbase的解压目录下配置conf/hbase-env.sha) 配置JAVAHOME #expo...原创 2016-06-06 15:07:11 · 766 阅读 · 0 评论 -
[HBase进阶]--rowkey设计要点（官方文档介绍）
官方文档说明 http://hbase.apache.org/book.html#rowkey.design一、Hotspotting（热点效应） 1、hbase是字典排序，这是一种优化扫描的方式，它允许你去把相关的行存储在一起，如果设计rowkey不当会产生严重热点效应2、性能下降：当一大波数据流向同一个节点时，热点效应即发生，导致该区域不可使用3、均匀分布数据到re...翻译 2016-05-26 13:14:21 · 2847 阅读 · 0 评论 -
[HBase基础]--namespace介绍
原文：http://hbase.apache.org/book.html#_namespacenamespace是一个类似于关系数据库的逻辑分组表数据库系统。 这种抽象奠定了基础为即将到来的多租户相关功能:Quota Management( hbase - 8410 )——限制资源的数量(即地区,表)一个命名空间可以使用。Namespace Security Administration( hba...翻译 2018-04-07 13:56:37 · 766 阅读 · 0 评论 -
[HBase错误]-- 执行 hbase shell报错
xshell进入hbase错误：执行：hbase shellCaused by: GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)at sun.security.jgss.krb5.Krb5InitCredential.getInstance(Krb...原创 2016-08-22 21:46:21 · 3715 阅读 · 0 评论