跋跋寒的博客

public static void ValueFilterExam() throws Exception{ Configuration config = HBaseConfiguration.create(); config.set("hbase.zookeeper.quorum","node2"); config.set("hbase.zooke...

HDFS相关datanode相关参数 解释 dfs.datanode.blockChecksumOp_avg_time 块校验平均时间 dfs.datanode.blockChecksumOp_num_ops 块检验次数 dfs.datanode.blockReports_avg_time 块报告平均时间 dfs.datanode.blockRepo...

原文地址：http://hbasefly.com/2016/05/21/hbase-gc-1/在之前的HBase BlockCache系列文章中已经简单提到：使用LRUBlockCache缓存机制会因为CMS GC策略导致内存碎片过多，从而可能引发臭名昭著的Full GC，触发可怕的’stop-the-world’暂停，严重影响上层业务；而Bucket Cache缓存机制因为在初始化的时候就申...

原文地址：http://hbasefly.com/2016/05/29/hbase-gc-2/最原始的HBase CMS GC相当严重，经常会因为碎片过多导致Promotion Failure，严重影响业务的读写请求。幸运的是，HBase并没有止步不前，很多优化方案相继被提出并贡献给社区，本文要介绍的就是几个比较重要的核心优化，分别是针对Memstore所作的两个优化：Thread-Local...

原文地址：http://hbasefly.com/2016/08/09/hbase-cms-gc/HBase发展到当下，对其进行的各种优化从未停止，而GC优化更是其中的重中之重。从0.94版本提出MemStoreLAB策略，Memstore Chuck Pool策略对写缓存Memstore进行优化开始，到0.96版本提出BucketCache以及堆外内存方案对读缓存BlockCache进行优化...

原文地址：https://blog.youkuaiyun.com/wwwxxdddx/article/details/509810891背景1.1问题描述HBase RegionServer由于GC等原因Stop World超过40s，RS在ZK上创建的临时节点被删除，造成Master认为RS已经下线，重新分配该RS上的Region。RS恢复后，由于种种原因（WAL被其它RSSplit并删除，Ma...

本次测试机器master2 、node1为第一个集群，node2、node3第二个集群，版本均为1.2.6在第一个集群的每个节点下添加如下配置：<property><name>hbase.replication</name><value>true</value></property>重启，使配置生效...

Hbase就不介绍了，直入正题。为了让客户端找到包含特定主键的region，Hbase0.96之前提供了两张特殊的目录表-ROOT-和.META表，一下简称root和meta。root表用来查询所有meta表中热region的位置。meta表则是用来查找所有table的region的位置。Hbase原来的设计中只有一个root region，则root从不拆分，从而保证类似于B+树结构...

目标为了公司集群的安全考虑，hadoop和hbase的web访问只能供有限的人访问 而要实现内网机器给外网访问，要解决的问题是：  1.hadoop、hbase页面上的url替换成外网能访问的url  2.通过有限的端口、外网ip对外提供整集群访问  下面就通过nginx反向代理的方式实现步骤整个实现步骤为：### 1.下载nginx_substitutions_filter并解...

HBase监控主要安装三个组件jmxtrans、InfluxDb、grafana。Jmxtrans：JMX可以对外暴露jvm内部的一些指标，但是要获取那些jvm的内部信息，就还需要自己写java程序调用jmx接口去获取数据，并按照某种格式发送到其他地方（如监控程序Graphite,Zabbix等）。这时jmxtrans就派上用场了，jmxtrans的作用是自动去jvm中获取所需要的jmx数据，...

import org.apache.commons.lang.StringUtils;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop.hbase.filter.Filter;import org.apache.hadoop.hbase.f...

原文地址：https://yq.aliyun.com/articles/601722?utm_content=m_1000001132摘要： HBase和Phoenix的优势大家众所周知，想要落地实践却问题一堆？replication的随机发送、Connection的管理是否让你头痛不已？本次分享中，滴滴以典型的应用场景带大家深入探究HBase和Phoenix，并分享内核改进措施。摘要： HBas...

HBase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度可以对HBase中的数据进行快速定位。HBase中rowkey可以唯一标识一行记录，在HBase查询的时候，有以下几种方式：通过get方式，指定rowkey获取唯一一条记录通过scan方式，设置startRow和stopRow参数进行...

原文地址：https://utf7.github.io/2018/01/13/hbase-data-migration/本文介绍 HBase 常见的适合大数据量的迁移方法:DISTCP、SNAPSHOT1、DSTCP+FIX 元数据信息2、SNAPSHOT快照导出迁移DISTCP迁移DISTCP的思路是，直接通过DISTCP拷贝HBase 的目录文件到目标集群，然后在目标集群通过hbase提供的h...

原文地址：https://www.cnblogs.com/cenyuhai/p/3650943.html看源码很久了，终于开始动手写博客了，为什么是先写负载均衡呢，因为一个室友入职新公司了，然后他们遇到这方面的问题，某些机器的硬盘使用明显比别的机器要多，每次用hadoop做完负载均衡，很快又变回来了。　　首先我们先看HMaster当中怎么初始化Balancer的，把集群的状态穿进去，设置maste...

原文地址：https://cloud.tencent.com/developer/article/1006043前言最近在跟进Hbase的相关工作，由于之前对Hbase并不怎么了解，因此系统地学习了下Hbase，为了加深对Hbase的理解，对相关知识点做了笔记，并在组内进行了Hbase相关技术的分享，由于Hbase涵盖的内容比较多，因此计划分享2期，下面就是针对第一期Hbase技术分享整体而成，第...

原文地址：https://cloud.tencent.com/developer/article/1006044四、RegionServer的故障恢复我们知道，RegionServer的相关信息保存在ZK中，在RegionServer启动的时候，会在Zookeeper中创建对应的临时节点。RegionServer通过Socket和Zookeeper建立session会话，RegionServer会...

原文地址：http://dbaplus.cn/news-21-1240-1.html一、环境描述 我的生产环境ZooKeeper 版本3.4.6，5个节点组成的ZooKeeper集群。ZooKeeper集群为一套8个节点的Hadoop集群和HBase 集群提供高可用保障。 二、问题描述 因为某些特殊原因，需要替换掉myid为5（IP：10.10.10.30）的ZooKeeper节点，故障节点IP：...

生产中，每个业务之间的重要性是不一致的，每个业务的数据量、读写需求也不一致，在1.1之前，一个集群中往往有很多个业务，有的同学可以执行一个耗时的scan操作，整个集群的资源被大量占用，其它非常重要的业务就被挤压的资源，造成一系列的事故，所以，很多时候，都会把hbase分成很多个集群，重要的业务单独一个集群，不重要的、数据量不大的再凑合凑合，又是一个集群，这样往往一个集群不会很大，造成一系列问题，集...