mark's technic world

业务背景：由于需要将ngix日志过滤出来的1亿+条用户行为记录存入Hbase数据库，以此根据一定的条件来提供近实时查询，比如根据用户id及一定的时间段等条件来过滤符合要求的若干行为记录，满足这一场景的技术包括：Solr，Elasticsearch，hbase等，在此选用了Hbase来实践。step 1 :直接hbase建表，然后读取记录文件逐条写入Hbase。由于hbase实际的写

public class HBaseConnectionPool { protected static ConcurrentHashMap idelConnections=null; protected static ConcurrentHashMap activeConnections=null; protected static int initSize; protected st

一、过滤器 HBASE过滤器用来过滤数据，减少传输到客户端的网络消耗，也可以为客户端减轻一些数据处理压力。过滤器主要分为：比较过滤器，专用过滤器，附加过滤器和自定义过滤器。 1.比较过滤器比较过滤器基于某些运算做出过滤判定。过滤器的两个基本要素是：比较器和运算符。运算符有：等于、不等于，小于，小于等于，大于，大于等于，NO_OP等。比较器为键或值得比较提供比

HBase统计表行数的方式如下：一、HBase自带MapReduce表行数统计RowCounter$HBASE_HOME/bin/hbase org.apache.Hadoop.hbase.mapreduce.RowCounter ‘tableName’二、使用Scan与Filter的方式对表行数进行统计[java] view

每load一个block到cache时，都会检查当前cache的size是否已经超过了“警戒线”，这个“警戒线”是一个规定的当前block cache总体积占额定体积的安全比例，默认该值是0.85，即当加载了一个block到cache后总大小超过了既定的85%就开始触发异步的evict操作了。evict的逻辑是这样的：遍历cache中的所有block,根据它们所属的级别(single,mu

开始之前   因为HBase的存储系统是基于Hadoop的存储，现在Hadoop已经增加了Kerberos认证机制，这样HBase的客户端访问HBase数据库的时候也需要进行身份的认证。   Kerberos是一个认证中心，客户端在访问HBase前必须通过认证才能访问，下图是Kerberos的认证图：   我们不需要详细介绍Kerberos的原理，但是大概流程可

hbase之前版本有些api已经deprecated了，下面是1.2的api，没有deprecatedimport java.io.IOException;import java.util.ArrayList;import java.util.List;import java.util.concurrent.ExecutorService;import java.util.concu

下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'添加记录      put '表名称', '行名称', '列名称:', '值'查看记录

HBase提供了对HBase进行一系列的管理涉及到对表的管理、数据的操作java api。常用的API操作有： 　　1、  对表的创建、删除、显示以及修改等，可以用HBaseAdmin，一旦创建了表，那么可以通过HTable的实例来访问表，每次可以往表里增加数据。 　　2、  插入数据 　　　　创建一个Put对象，在这个Put对象里可以指定要给哪个列增加数据，以及当前的时间戳等

一、安装zookeeper在安装好分布式hadoop的环境下，继续安装zookeeper-3.4.5。$ wget http://124.202.164.9/download/32878722/41763290/4/gz/165/152/1353566847397_152/zookeeper-3.4.5.tar.gz  $ tar -xf zookeeper-3.4

rhbase的相关函数：hb.compact.table hb.describe.table hb.insert hb.regions.tablehb.defaults hb.get hb.insert.data.frame hb.scanhb.delete hb.get.

import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.client.Delete;import

package example;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.hbase.HTabl

package example2;import org.apache.hadoop.hbase.client.Get;import org.apache.hadoop.hbase.client.Result;import org.apache.hadoop.hbase.rest.client.Client;import org.apache.hadoop.hbase.rest.clien

java客户端操作Hbase 首先，配置好 hadoop+hbase 环境后，确保 hbase 正常启动。1. 搭建开发环境         1.1、运行 Eclipse，创建一个新的 Java工程“ HBaseHelloWorld”，右键项目根目录，选择 “ Properties”->“Java Build Path”->“Library”->“Add Ext

/** * Created by similarface on 16/8/16. */ import java.io.IOException; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;

hbase所谓的三维有序存储的三维是指：rowkey（行主键），column key(columnFamily+qualifier)，timestamp(时间戳)三部分组成的三维有序存储。1.rowkey，我们知道rowkey是行的主键，而且hbase只能用个rowkey，或者一个rowkey范围即scan来查找数据。所以 rowkey的设计是至关重要的，关系到你应用层的查询效率。我们知道

进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户hbase(main)>whoami表的

前置工作Hadoop安装配置 : hadoop-2.7.3Hbase安装配置: hbase-1.2.4zookeeper安装配置: zookeeper-3.4.9hbase-client中guava版本与SpringDataHadoop(2.4.0.RELEASE)版本中的guava版本问题Springboot的其他章节，需要了解Hostname 绑定hadoop home问题，配置H