ASN_forever的博客

HBase分页hbase中的数据是按照rowkey字典排序存储的，实现分页的思路有两个，一个是获取页面的起始rowkey，然后使用PageFilter来限制每页的数量。另一种是获取页面的起始rowkey和结束rowkey，然后直接调用scan的withStartRow和withStopRow查询即可。方案一、PageFilterhbase中有自带的PageFilter，能够实现分页功能，但是局限性很大，实际很少使用。就是说，PageFilter的作用域是单个的region，会从每个r

如果Hadoop集群配置了高可用，则可以进行不停服的滚动升级。但现在是伪分布的单节点集群，因此需要停止Hadoop及相关的应用，包括hbase、zookeeper等。Hadoop升级因为目前有跑flink作业，checkpoint是放在hdfs上的，因此先停掉对应的job（只需要停job，不用关flink集群） 停止hbase集群：stop-hbase.sh 停止Hadoop集群：stop-all.sh 备份hdfs元数据：包括namenode元数据、datanode元数据、临时数据，我都备份

今天在使用datax同步数据到hbase的时候，随着同步的数据越来越多，发现同步的速度越来越慢，且慢慢的出现同步数据为0的情况，以及regionserver间歇性挂掉，最后完全挂掉了。首先说一下，使用的hbase是单节点的，自己用来测试的。没有做过多的配置。hbase的表只设置了一个列族，列数不到30列。机器内存16G。当数据写到500万之后，开始变慢。最后写到800万regionserver崩溃。2020-05-25 10:31:53,453 INFO [RpcServer.defau

默认情况下，通过hbase shell的scan或get等命令获取的中文内容都是16进制的，无法直观的查看数据。其实hbase shell中是有方法将16进制中文转换成utf-8格式的中文的。主要有两种方式：使用FORMATTER => 'toString' 使用:toString示例：hbase(main):037:0> scan 'test'ROW COLUMN+CELL row1

接触过HBase的同学应该对HBase写数据的过程比较熟悉（不熟悉也没关系）。HBase 写数据（比如 put、delete）的时候，都是写 WAL（假设 WAL 没有被关闭） ，然后将数据写到一个称为 MemStore 的内存结构里面的，如下图：但是，MemStore 毕竟是内存里面的数据结构，写到这里面的数据最终还是需要持久化到磁盘的，生成 HFile。如下图：如果想及时了...

业务数据库中存了大量的历史数据，导致在根据业务条件查询数据的时候效率太低。因此考虑将原始的业务数据通过SQL先做一遍处理后放到中间表，然后再把中间表的数据同步到hbase，以后直接从hbase查询数据。当然这个还涉及到增量数据如何同步，如何保证增量数据不丢失等问题，不在这里记录。这里只记录mysql中的数据如何全量同步到hbase。异构数据源之间的数据迁移工具比较多，常用的有kettle、sq...

转自：https://yq.aliyun.com/articles/644139?spm=a2c4e.11155472.0.0.74bb68c6ROboVF1.概述HBase是一个实时的非关系型数据库，用来存储海量数据。但是，在实际使用场景中，在使用HBase API查询HBase中的数据时，有时会发现数据查询会很慢。本篇博客将从客户端优化和服务端优化两个方面来介绍，如何提高查询HBase...

首先，需要明确的是，Hbase写入速度比读取速度要快，根本原因LSM存储引擎Hbase底层的存储引擎为LSM-Tree(Log-Structured Merge-Tree)。 LSM核心思想的核心就是放弃部分读能力，换取写入的最大化能力。LSM Tree ，这个概念就是结构化合并树的意思，它的核心思路其实非常简单，就是假定内存足够大，因此不需要每次有数据更新就必须将数据写入到磁盘中，而可以先...

对于2.1.6这个版本，使用协处理器需要引入hbase-common依赖。1.写协处理器实现类package com.asn.bigdata.hbase;import java.io.IOException;import java.util.Optional;import org.apache.hadoop.conf.Configuration;import org.apac...

1.hbase配置mapreduce依赖包编辑Hadoop的hadoop-env.sh文件2.重启hbase和Hadoop上面配置为hadoop-env.sh后，需要重启才能生效。3.在HBASE_HOME下运行命令即可/var/bigdata/hadoop-2.7.6/bin/yarn jar lib/hbase-mapreduce-2.1.8.jar rowcount...

之前的文章已经介绍了如何搭建hadoop集群，以及在hadoop集群之上搭建spark集群。可以点击如下链接查看：一、centos7+hadoop2.8.0+VMware搭建完全分布式集群二、hadoop完全分布式基础上搭建spark集群本篇文章记录的是在上述hadoop集群上安装HBase和ZooKeeper的过程，以备后续参考！软件版本和系统环境①HBase，1.2.5，下...