mark's technic world

业务背景：由于需要将ngix日志过滤出来的1亿+条用户行为记录存入Hbase数据库，以此根据一定的条件来提供近实时查询，比如根据用户id及一定的时间段等条件来过滤符合要求的若干行为记录，满足这一场景的技术包括：Solr，Elasticsearch，hbase等，在此选用了Hbase来实践。 step 1 : 直接hbase建表，然后读取记录文件逐条写入Hbase。由于hbase实际的写

public class HBaseConnectionPool { protected static ConcurrentHashMap idelConnections=null; protected static ConcurrentHashMap activeConnections=null; protected static int initSize; protected st

一、过滤器   HBASE过滤器用来过滤数据，减少传输到客户端的网络消耗，也可以为客户端减轻一些数据处理压力。过滤器主要分为：比较过滤器，专用过滤器，附加过滤器和自定义过滤器。   1.比较过滤器 比较过滤器基于某些运算做出过滤判定。过滤器的两个基本要素是：比较器和运算符。运算符有：等于、不等于，小于，小于等于，大于，大于等于，NO_OP等。比较器为键或值得比较提供比

HBase统计表行数的方式如下： 一、HBase自带MapReduce表行数统计RowCounter $HBASE_HOME/bin/hbase org.apache.Hadoop.hbase.mapreduce.RowCounter ‘tableName’ 二、使用Scan与Filter的方式对表行数进行统计 [java] view

每load一个block到cache时，都会检查当前cache的size是否已经超过了“警戒线”，这个“警戒线”是一个规定的当前block cache总体积占额定体积的安全比例，默认该值是0.85，即当加载了一个block到cache后总大小超过了既定的85%就开始触发异步的evict操作了。 evict的逻辑是这样的：遍历cache中的所有block,根据它们所属的级别(single,mu

开始之前    因为HBase的存储系统是基于Hadoop的存储，现在Hadoop已经增加了Kerberos认证机制，这样HBase的客户端访问HBase数据库的时候也需要进行身份的认证。    Kerberos是一个认证中心，客户端在访问HBase前必须通过认证才能访问，下图是Kerberos的认证图：     我们不需要详细介绍Kerberos的原理，但是大概流程可

hbase之前版本有些api已经deprecated了，下面是1.2的api，没有deprecated import java.io.IOException; import java.util.ArrayList; import java.util.List; import java.util.concurrent.ExecutorService; import java.util.concu

下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下： 名称 命令表达式 创建表 create '表名称', '列名称1','列名称2','列名称N' 添加记录       put '表名称', '行名称', '列名称:', '值' 查看记录

HBase提供了对HBase进行一系列的管理涉及到对表的管理、数据的操作java api。 常用的API操作有：  　　1、  对表的创建、删除、显示以及修改等，可以用HBaseAdmin，一旦创建了表，那么可以通过HTable的实例来访问表，每次可以往表里增加数据。  　　2、  插入数据  　　　　创建一个Put对象，在这个Put对象里可以指定要给哪个列增加数据，以及当前的时间戳等

一、安装zookeeper 在安装好分布式hadoop的环境下，继续安装zookeeper-3.4.5。 $ wget http://124.202.164.9/download/32878722/41763290/4/gz/165/152/1353566847397_152/zookeeper-3.4.5.tar.gz   $ tar -xf zookeeper-3.4

rhbase的相关函数： hb.compact.table hb.describe.table hb.insert hb.regions.table hb.defaults hb.get hb.insert.data.frame hb.scan hb.delete hb.get.

import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.Delete; import

package example; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.hadoop.hbase.HTabl

package example2; import org.apache.hadoop.hbase.client.Get; import org.apache.hadoop.hbase.client.Result; import org.apache.hadoop.hbase.rest.client.Client; import org.apache.hadoop.hbase.rest.clien

java客户端操作Hbase   首先，配置好 hadoop+hbase 环境后，确保 hbase 正常启动。 1. 搭建开发环境          1.1、运行 Eclipse，创建一个新的 Java工程“ HBaseHelloWorld”，右键项目根目录，选择 “ Properties”->“Java Build Path”->“Library”->“Add Ext

/**  * Created by similarface on 16/8/16.  */   import java.io.IOException;   import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration;

hbase所谓的三维有序存储的三维是指：rowkey（行主键），column key(columnFamily+qualifier)，timestamp(时间戳)三部分组成的三维有序存储。 1.rowkey，我们知道rowkey是行的主键，而且hbase只能用个rowkey，或者一个rowkey范围即scan来查找数据。所以 rowkey的设计是至关重要的，关系到你应用层的查询效率。我们知道

进入hbase shell console $HBASE_HOME/bin/hbase shell 如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户 hbase(main)> whoami 表的

前置工作 Hadoop安装配置 : hadoop-2.7.3Hbase安装配置: hbase-1.2.4zookeeper安装配置: zookeeper-3.4.9hbase-client中guava版本与SpringDataHadoop(2.4.0.RELEASE)版本中的guava版本问题Springboot的其他章节，需要了解Hostname 绑定hadoop home问题，配置H