青年IT男

1 HBase介绍HBase是一个分布式的、面向列的开源数据库，就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基...

HBase安装http://hbase.apache.org/ HBase的安装也有三种模式：单机模式、伪分布模式和完全分布式模式，在这里只介绍完全分布模式。前提是Hadoop集群和Zookeeper已经安装完毕，并能正确运行。 第一步：下载安装包，解压到合适位置，并将权限分配给hadoop用户（运行hadoop的账户）这里下载的是hbase-0.94.6，Hadoop集群...

背景： 某电信项目中采用HBase来存储用户终端明细数据，供前台页面即时查询。HBase无可置疑拥有其优势，但其本身只对rowkey支持毫秒级 的快 速检索，对于多字段的组合查询却无能为力。针对HBase的多条件查询也有多种方案，但是这些方案要么太复杂，要么效率太低，本文只对基于Solr的 HBase多条件查询方案进行测试和验证。 原理： 基于Solr的HBase多条件查...

1. 表的设计1.1 Pre-Creating Regions默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region 写数据， 直到这 个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按 照 region分区情况，在集群...

hbase所谓的三维有序存储的三维是指：rowkey（行主键），column key(columnFamily+qualifier)，timestamp(时间戳)三部分组成的三维有序存储。 先 说rowkey，我们知道rowkey是行的主键，而且hbase只能用个rowkey，或者一个rowkey范围即scan来查找数据。所以 rowkey的设计是至关重要的，关系到你应用层的查询效率。我们知道，r...

1.1  一次性创建索引l、  删除全索引效率很高，可以关闭Solr后，直接删除Data文件。2、 重新创建全索引拉取HBase中全数据，分批次创建索引。 1.2  增量创建索引1、触发器发送数据到Solr建索引。配置并使用HBase触发器功能，配置实现如下： alter 'angelHbase', METHOD  =>  'table_att', ...

一、目的    了解hbase的都知道，由于hbase基于行健有序存储，在查询时使用行健十分高效，然后想要实现关系型数据库那样可以随意组合的多条件查询、查询总记录数、分页等就比较麻烦了。想要实现这样的功能，我们可以采用两种方法：使用hbase提供的filter，自己实现二级索引，通过二级索引查询多符合条件的行健，然后再查询hbase。    第一种方法不多说了，使用起来很方...

1. 访问hbase的web配置页面为host:60010host:600302. 配置了regionservers和分布式，但是启动后只有一个regionserver，有人说是时间同步的问题，<property><name>hbase.master.maxclockskew</name><value>180000</...

1、HBase 简介HBase —— Hadoop Database的简称，Google BigTable的另一种开源实现方式，从问世之初，就为了解决用大量廉价的机器高速存取海量数据、实现数据分布式存储提供可靠的方案。从功能上来讲，HBase不折不扣是一个数据库，与我们熟悉的Oracle、MySQL、MSSQL等一样，对外提供数据的存储和读取服务。而从应用的角度来说，HBase与一般...