weixir123的博客

转载 1. 表的设计1.1 Pre-Creating Regions默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按照region分区情况，在集群内做数据...

一，环境:1，主机规划：集群中包括3个节点：hadoop01为Master，其余为Salve，节点之间局域网连接，可以相互ping通。机器名称IP地址hadoop01192.168.1.31hadoop02192.168.1.32hadoop03192.168.1.33...

Zookeeper是hadoop的一个子项目，虽然源自hadoop，但是我发现zookeeper脱离hadoop的范畴开发分布式框架的运用越来越多。今天我想谈谈zookeeper，本文不谈如何使用zookeeper，而是zookeeper到底有哪些实际的运用，哪些类型的应用能发挥zookeeper的优势，最后谈谈zookeeper对分布式网站架构能产生怎样的作用。　　Zookeeper是针对...

1.把数据表test从hbase下拷出（hadoop dfs -get /hbase/test ./） 可借助hadoop fs -ls /hbase 查看2.文件放到新集群的系统上。3.文件拷入新的hadoop集群hbase下（hadoop dfs -put test /hbase/test）4.到hbase shell下list，可以看到test表已经存在，但是你scan的时候...

使用必须是线性安全：package coprocessor;import java.io.IOException;import org.apache.hadoop.hbase.CoprocessorEnvironment;import org.apache.hadoop.hbase.client.HTableInterface;import org.apache.ha...

转载地址： http://www.cnblogs.com/shenguanpu/archive/2012/06/12/2546309.html1 java.io.IOException: java.io.IOException: java.lang.IllegalArgumentException: offset (0) + length (8) exceed the capacity ...

用MR来对hbase的表数据进行分布式计算。有两点配置可以优化操作，提升性能。它们分别是：(1)scan.setCacheBlocks(false);   然后调用下面这句来初始化map任务    TableMapReduceUtil.initTableMapperJob这个配置项是干什么的呢？   本次mr任务scan的所有数据不放在缓存中，一方面节省了交换缓存的操作消耗，可以提升...

本文列举一些hbase的基本操作代码。 Java代码  package allen.studyhbase;    import java.io.IOException;  import java.util.LinkedList;  import java.util.List;    import org.apache.commons.logging...

simplehbase尝试简化基于hbase的java应用开发。 Simplehbase主要提供以下功能： 1 POJO和hbase的映射。 2 提供client，简化hbase的数据操作。 3 提供强语义的插入和更新操作。   Insert操作：只有原数据不存在时，才put成功。   Update操作：只有原数据存在时，才put成功。 simplehbase的代码，测试(示例)代码，文档见附件...

https://github.com/zhang-xzhi/simplehbase/ https://github.com/zhang-xzhi/simplehbase/wiki simplehbase简介 simplehbase是java和hbase之间的轻量级中间件。 主要包含以下功能。     数据类型映射：java类型和hbase的bytes之间的数据转换。     简单操作封装：封装...

本文主要介绍软件层面的性能调优。故，在此之前，请检查硬件状况。硬盘推荐SSD，一般SATA即可。网络千兆以上。可以安装Ganglia等工具，检查各节点的各硬件的运作状态：CPU,Memo,网络等等。 一、调整参数入门级的调优可以从调整参数开始。投入小，回报快。 1. Write Buffer Size快速配置Java代码  HTable htabl...

create Table create 'mytable', {NAME => 'colfam1', VERSIONS => 1, TTL => 2592000, BLOCKCACHE => true}, {NAME => 'colfam2'}  truncate mytable   == disable / drop table  Alte...

时间同步：在每台服务器的 /etc/crontab 中加入一行：0 5 * * * root ntpdate ntp.ubuntu.com && hwclock -w

1. 发现问题项目中有一张HBase表，每天凌晨以后会集中批量导入一批数据，导入数据量很大，在千万到亿的量级，然后白天为用户提供查询服务。某天突然发现， 该表按照各个region（共计256个）分别仅顺序scan少数几条数据时，部分region的查询请求的响应时间很慢，长达10秒甚至几十秒不等。2. 排查问题首先，通过查看HBase的region server监控界面，看到这张表的每...

HBase在0.92之后引入了coprocessors，提供了一系列的钩子，让我们能够轻易实现访问控制和二级索引的特性。下面简单介绍下两种coprocessors，第一种是Observers，它实际类似于触发器，第二种是Endpoint，它类似与存储过程。由于这里只用到了Observers，所以只介绍Observers，想要更详细的介绍请查阅（https://blogs.apache.org/...

在HBase中创建的一张表可以分布在多个Hregion，也就说一张表可以被拆分成多块，每一块称我们呼为一个Hregion。每个Hregion会保 存一个表里面某段连续的数据，用户创建的那个大表中的每个Hregion块是由Hregion服务器提供维护，访问Hregion块是要通过 Hregion服务器，而一个Hregion块对应一个Hregion服务器，一张完整的表可以保存在多个Hregion ...

可以利用shell 脚本执行hbase shell中的一些操作#!/bin/shexec $HBASE_HOME/bin/hbase shell <<EOFcreate 'test', {NAME => 't', VERSIONS => 1}EOF 

在hive-site.xml加上<property> <name>hive.aux.jars.path</name> <value>file:///opt/modules/hive/hive-0.9.0/lib/hive-hbase-handler-0.9.0.jar,file:///opt/modules/hive/hive-0...

启动region server的时候报如下错误: 2013-09-09 11:23:05,863 DEBUG org.apache.hadoop.hbase.regionserver.HRegionServer: NotServingRegionException; Region is not online: -ROOT-,,02013-09-09 11:23:08,874 DEBUG ...