hbase操作
关注
分享
扫一扫
mnasd
这个作者很懒，什么都没留下…
展开
-
从原理到参数解析，HBase 刷写与合并机制介绍
HBase 是目前主流的 NoSQL 数据库，是一个高可靠、高性能、高伸缩的分布式 KV 存储系统，本文讲解 HBase 两个核心机制——刷写（Flush）与合并（Compaction），重点介绍其原理及参数配置建议。1、为什么要进行刷写和合并HBase 是 Google BigTable 的开源实现，底层存储引擎是基于 LSM树（Log-Structured Merge Tree）数据结构设计的。写入数据时会先写 WAL 日志，再将数据写到写缓存 MemStore 中，等写缓存达到一定规模或其他.原创 2020-12-24 15:17:28 · 484 阅读 · 0 评论 -
Hbase表两种数据备份方法-导入和导出示例
Hbase表两种数据备份方法-导入和导出示例本文将提供两种备份方法 ——1) 基于Hbase提供的类对hbase中某张表进行备份2) 基于Hbase snapshot数据快速备份方法场合：由于线上和测试环境是分离的，无法在测试环境访问线上库，所以需要将线上的hbase表导出一部分到测试环境中的hbase表，这就是本文的由来。一、基于hbase提供的类对hbase中某张表进行备份...转载 2019-07-21 10:38:42 · 647 阅读 · 0 评论 -
本地 hbase 集群配置 Azure Blob Storage
简述：hadoop-azure 提供hadoop 与 azure blob storage 集成支持，需要部署hadoop-azure.jar程序包，在HDP2.4 安装包中已默认提供，如下图： 配置成功后，读写的数据都存储在 Azure Blob Storage account 支持配置多个 Azure Blob Storage account， 实现了标准的 Hadoop Fi...转载 2019-05-19 20:31:03 · 378 阅读 · 0 评论 -
HBase 永久RIT(Region-In-Transition)问题
HBase 永久RIT(Region-In-Transition)问题：异常关机导致HBase表损坏和丢失，大量Regions 处于Offline状态，无法上线。问题1：启动HBase时，HBase Regionserver Web UI，一直停留在The RegionServer is initializing! 界面 Initializing Master file system (s...转载 2018-12-11 23:07:46 · 1946 阅读 · 0 评论 -
HBase备份之ExportSnapshot或CopyTable
文章《HBase备份之导入导出》介绍了使用HBase的自带工具Export和Import来实现在主集群和从集群之间拷贝表的目的。本篇介绍一种相比导入导出而言，更快速的一种备份办法。即ExportSnapshot。1、ExportSnapshot和Export类似，ExportSnapshot也是使用MapReduce方式来进行表的拷贝。不过和Export不同，ExportSnapshot导...转载 2018-09-14 14:28:39 · 3142 阅读 · 0 评论 -
HBase原理和设计
一篇不错的介绍HBase基本原理的文章，转载自：http://www.sysdb.cn/index.php/2016/01/10/hbase_principle/ ，感谢原作者。 简介HBase —— Hadoop Database的简称，Google BigTable的另一种开源实现方式，从问世之初，就为了解决用大量廉价的机器高速存取海量数据、实现数据分布式存储提供可靠的方案。从功能...转载 2018-09-13 14:16:12 · 151 阅读 · 0 评论 -
HBase学习之路 （六）过滤器
目录过滤器（Filter） HBase过滤器的分类 比较过滤器 专用过滤器 正文回到顶部过滤器（Filter） 基础API中的查询操作在面对大量数据的时候是非常苍白的，这里Hbase提供了高级的查询方法：Filter。Filter可以根据簇、列、版本等更多的条件来对数据进行过滤，基于Hbase本身提供的三维有序（主键有序、列有序、版本有序），这些Filter可以...转载 2018-09-07 11:50:50 · 224 阅读 · 0 评论 -
HBase学习之路 （五）MapReduce操作Hbase
目录MapReduce从HDFS读取数据存储到HBase中 MapReduce从HBase读取数据计算平均年龄并存储到HDFS中 正文回到顶部MapReduce从HDFS读取数据存储到HBase中现有HDFS中有一个student.txt文件，格式如下95002,刘晨,女,19,IS95017,王风娟,女,18,IS95018,王一,女,19,IS95013...转载 2018-09-07 11:22:50 · 245 阅读 · 0 评论 -
HBase学习之路 （四）HBase的API操作
目录Eclipse环境搭建 HBase API操作表和数据 正文回到顶部Eclipse环境搭建具体的jar的引入方式可以参考http://www.cnblogs.com/qingyunzong/p/8623309.html回到顶部HBase API操作表和数据 1 import java.io.IOException; 2 import java.u...转载 2018-09-07 11:21:13 · 211 阅读 · 0 评论 -
HBase配置性能调优(转)
因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。配置优化zookeeper.session.timeout默认值：3分钟（180000ms）说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Z...转载 2019-07-21 14:34:43 · 173 阅读 · 0 评论 -
hbck源码系列(一)--hbck基本介绍
一.hbck基本介绍Hbck主要有两个作用：检查异常和修复异常注意：该图参考范欣欣的一个ppt图.一致性修复一致性检查主要检查是检查Region在meta中的Region、在线Regionserver的Region和hdfs的Regioninfo的Region信息是否一致。属于低风险修复。完整性修复完整性主要是检查table的完整性，包括hole、ov...转载 2019-09-22 21:52:00 · 563 阅读 · 0 评论 -
hbase问题排查思路
HBCK - HBCK检查什么？(1)HBase Region一致性 集群中所有region都被assign，而且deploy到唯一一台RegionServer上 该region的状态在内存中、hbase:meta表中以及zookeeper这三个地方需要保持一致 (2)HBase 表完整性 对于集群中任意一张表，每个rowkey都仅能存在于一个region区间 ...转载 2019-09-22 23:11:38 · 1934 阅读 · 0 评论 -
HBCK详解-异常定位和修复总结(1)-Meta、RS和hdfs的不一致的异常定位和修复
主要围绕以下几个方面展开：什么是一致性HBCK到底可以检查和修复哪些一致性情况每一种情况对应的异常有哪些表现怎么定位异常和修复？一. HBCK一致性一致性是指Region在meta中的meta表信息、在线Regionserver的Region信息和hdfs的Regioninfo的Region信息的一致。二. 一致性的检查和修复命令一致性检查命令hbase hbc...转载 2019-09-22 22:58:19 · 625 阅读 · 0 评论 -
hbck源码系列(七)--Orphan(hdfs的regioninfo丢失)案例1
一. Region在Meta信息完整，Regioninfo文件丢失1.异常定位全局检查hbck -details testorphan1ERROR: Orphan region in HDFS: Unable to load .regioninfo from table testorphan1 in hdfs dir hdfs://hadoop01:...转载 2019-09-22 22:51:46 · 2099 阅读 · 0 评论 -
hbck源码系列(六)--Orphan的异常定位和修复
一. Orphan修复风险我们了解了hbck对orphan修复原理后，知道orphan是根据hdfs的Hfile修复的regioninfo文件(如果没有Hfile，则直接将该region进行sideline)，再删除该region.HBCK这种修复存在的风险，是由于region变迁导致：(1)如果region的数据hfile数据为空,但是内存存在数据,突然...转载 2019-09-22 22:47:16 · 718 阅读 · 0 评论 -
hbck源码系列(五)--Orphan源码分析
一.Orphan 原理1.1 什么是OrphanOrprphaned regions are regions without a .regioninfo file regions are regions without a .regioninfo fileOrphan 是指region对应的Regioninfo文件在hdfs文件丢缺失。1.2 ...转载 2019-09-22 22:44:40 · 230 阅读 · 0 评论 -
hbck源码系列(四)--表的完整性检查和修复
一，完整性检查1检查表在HDFS的完整性二.checkRegionChain方法完整性检查，主要检查工作在checkRegionChain方法，该方法主要两个作用：1.根据检查条件，检查异常2.根据检查条件，修复异常检查条件和异常都指什么？2.1异常 @Override public void handleR...转载 2019-09-22 22:11:01 · 675 阅读 · 0 评论 -
hbck源码系列(三)--表的完整性检查和修复< LoadData>
一.数据加载方法检查表的完整性是离线的，也就是检查表在HDFS的完整性，所以，首先hbck会从HDFS加载数据，源码的主要方法：loadHdfsRegionDirs：加载HDFS的区域的目录，封装到HBCKinfo的HdfsEntry部分属性。loadHdfsRegionInfos：加载和打开HDFS的regioninfo文件，获取regioninfo信息，更新hbckinfo...转载 2019-09-22 22:08:17 · 193 阅读 · 0 评论 -
hbck源码系列(二)--表的完整性检查和修复
一.onlineHbck上一篇提到hbck的修复分为表的一致性修复和表的完整性修复，实际的修复和检查都在这个方法 onlineHbck,由源码可知表的完整性检查和修复，是可离线操作，而一致性是在线操作。二.表的完整性检查和修复 offlineHdfsIntegrityRepair完整性检查是针对表级别，主要是检查表的完整性，如region的hol...转载 2019-09-22 22:01:24 · 227 阅读 · 0 评论 -
HBase学习之路 （三）HBase集群Shell操作
目录进入HBase命令行 HBase表的操作 创建create 查看表列表list 查看表的详细信息desc 修改表的定义alter HBase表中数据的操作 增put 查get + scan 删delete 正文回到顶部进入HBase命令行在你安装的随意台服务器节点上，执行命令：hbase shell，会进入到你的 hbase shell...转载 2018-09-07 11:19:51 · 955 阅读 · 0 评论 -
HBase学习之路 （二）HBase集群安装
目录前提 版本选择 JDK的选择 Hadoop的选择 安装 1、zookeeper的安装 2、Hadoopd的安装 3、下载安装包 4、上传服务器并解压缩到指定目录 5、修改配置文件 6、将HBase安装包分发到其他节点 7、 同步时间 8、配置环境变量 启动HBase集群 1、启动zookeeper集群 2、启动HDFS集群及YARN集...转载 2018-09-07 11:16:22 · 189 阅读 · 0 评论 -
HMaster监控
一、HMaster监控指标Metric Type(GAUGE,COUNTER) 类型 业务意义 备注 averageLoad GAUGE Average number of regions served by each region server numRegionServers ...原创 2018-07-31 15:40:48 · 863 阅读 · 0 评论 -
HBase RegionServe监控
一、RegionServer级别的监控 Metric Type(GAUGE,COUNTER) 类型 业务意义 备注 regionCount GAUGE The number of regions hosted by the regionserver RegionServer包含对象 ...原创 2018-07-31 15:40:09 · 1931 阅读 · 1 评论 -
hbase
根据rowkey删除表中特定数据一、背景邮件内容： 二、备份表 三、删除操作3.1 查看被删除的key 3.2 删除操作：需要逐行删除ROW的columns 表的多种备份方式 方法一：读取表中数据的方式优点：官方推荐、安全 缺点：速度一般，无yarn的情况，200G/小时 步骤一：导出表1.启用表<p...原创 2018-07-31 15:36:06 · 185 阅读 · 0 评论 -
move region
一、move region的目的move region主要是为了解决如下场景的问题：1.region分配不均衡，比如有的regionserver刚加入，管理的region很少，导致负载很小；2.某个表的region分配不合理，比如都集中在几个regionserver上，导致写入操作太集中，吞吐不高； 二、move region的操作move命令server_name是可...原创 2018-07-31 15:31:37 · 1382 阅读 · 0 评论 -
merge_region
一、merge_region的操作目的合并region主要是为了减少HBase Master的元数据管理代价。 二、merge_region的操作Both Master and RegionServer participate in the event of online region merges. Client sends merge RPC to the master, th...原创 2018-07-31 15:27:03 · 2007 阅读 · 0 评论 -
major_compact
一、major_compact的操作目的（1）合并文件（2）清除删除、过期、多余版本的数据（3）提高读写数据的效率 HBase中实现了两种compaction的方式：minor and major. Minor compactions will usually pick up a couple of the smaller adjacent StoreFiles and rew...原创 2018-07-31 15:16:22 · 7773 阅读 · 0 评论 -
HBase清空表数据
一、清除之前检查1.表的region分配情况；2.表的大小（grafana可以看到）； 二、清除之前备份hbase(main):001:0> disable 'gx_rpt:msg_push_taskid_group_name'0 row(s) in 2.1140 secondshbase(main):002:0> snapshot 'gx_rpt:msg_p...原创 2018-07-18 14:39:27 · 26524 阅读 · 0 评论 -
drop and enable table
删除表先 disable 再删除； drop_all 支持正则表达式；举例hbase> disable_all 't.*'hbase> drop_all 't.*'hbase> drop 't1'启用/禁用 表enable/disable 启用、禁用单个表； enable_all 支持正则表达式，可同时操作多个表； disable_al...原创 2018-07-17 21:47:06 · 239 阅读 · 0 评论 -
Hbase运维手册
1. region情况需要检查1. region的数量（总数和每台regionserver上的region数）2. region的大小如果发现异常可以通过手动merge region和手动分配region来调整从CDH前台和master前台以及regionServer的前台都可以看到region数量，如master前台： 在region server前台可...转载 2018-07-31 15:45:16 · 1533 阅读 · 0 评论 -
华为HBase调优
1.提升Bulkload效率操作场景批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件，然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。ImportTSV是一个HBase的表数据加载工具。前提条件在执行批量加载时需要通过“Dimporttsv.bulk.outp...转载 2018-07-31 15:49:25 · 1880 阅读 · 0 评论 -
HBase学习之路 （十一）HBase的协过滤器
目录协处理器—Coprocessor 1、 起源 2、介绍 3、总结 协处理加载方式 1、 静态加载 2、 动态加载 3、 协处理器卸载 案例（二级索引） 正文回到顶部协处理器—Coprocessor1、 起源 Hbase 作为列族数据库最经常被人诟病的特性包括：无法轻易建立“二级索引”，难以执 行求和、计数、排序等操作。比如，在...转载 2018-09-10 15:14:58 · 241 阅读 · 0 评论 -
HBase学习之路 （十）HBase表的设计原则
目录建表高级属性 1、 BLOOMFILTER 2、 VERSIONS 3、 COMPRESSION 4、 TTL 5、 alter 6、 describe/desc 7、 disable_all/enable_all 8、 drop_all 9、 hbase 预分区 表设计 1、列簇设计 2、RowKey 设计 Rowkey 设计三原则...转载 2018-09-10 15:12:35 · 174 阅读 · 0 评论 -
HBase学习之路 （九）HBase phoenix的使用
目录HBase phoenix的下载 正文回到顶部HBase phoenix的下载下载地址http://mirror.bit.edu.cn/apache/phoenix/选择对应的hbase版本进行下载，测试使用的是hbase-1.2.6版本 ...转载 2018-09-10 10:46:31 · 792 阅读 · 0 评论 -
HBase学习之路 （八）HBase大牛博客
主要是记录一下链接http://hbasefly.com转载 2018-09-10 10:41:13 · 178 阅读 · 0 评论 -
HBase学习之路 （七）HBase 原理
目录系统架构 物理存储 整体的物理结构 StoreFile 和 HFile 结构 MemStore 和 StoreFile Hbase WAL HLog预写 Region 寻址机制 老的 Region 寻址方式 新的 Region 寻址方式 读写过程 读请求过程 写请求过程 RegionServer 工作机制 Region 分配 Regi...转载 2018-09-10 10:36:28 · 182 阅读 · 0 评论 -
HBase参数配置及说明
版本：0.94-cdh4.2.1hbase-site.xml配置hbase.tmp.dir本地文件系统tmp目录，一般配置成local模式的设置一下，但是最好还是需要设置一下，因为很多文件都会默认设置成它下面的 线上配置 <property> <name>hbase.tmp.dir</name> ...转载 2018-09-11 16:37:45 · 250 阅读 · 0 评论 -
hbase region server频繁挂掉
hbase region server频繁挂掉，其抛出的异常如下所示：2018-08-21 10:06:54,986 INFO [regionserver/admin1/192.168.1.21:16020] regionserver.HRegionServer: regionserver/admin1/192.168.1.21:16020 exiting2018-08-21 10:06...转载 2018-09-11 16:36:34 · 1500 阅读 · 0 评论 -
HDFS block丢失过多进入安全模式（safe mode）的解决方法
HDFS block丢失过多进入安全模式（Safe mode）的解决方法背景及现象描述(Background and Symptom) 因磁盘空间不足，内存不足，系统掉电等其他原因导致dataNode datablock丢失，出现如下类似日志： The number of live datanodes 3 has reached the minimum number 0....转载 2018-08-28 17:07:55 · 587 阅读 · 0 评论 -
create and alter table
create talbHBase建表是非常简单的，最简单举例如下：hbase(main):005:0> help 'create'Creates a table. Pass a table name, and a set of column familyspecifications (at least one), and, optionally, table configura...原创 2018-07-17 21:40:52 · 607 阅读 · 0 评论