shyming's blog

Hbase全分布式集群搭建1.解压2.修改环境变量3.修改hbase-site.xml4.修改Hbase-env.sh5.hadoop-env.sh/yarn-env.sh/hbase-env.sh6.regionservers7.启动/停8.检查hbase使用情况 1.解压 sudo chmod 777 hbase-2.3.0-bin.tar.gz sudo tar -zxvf hbase-2.3.0-bin.tar.gz -C /home/hdfs/software sudo ln -s /home/

hbase的架构 hbase基于hadoop，hbase的存储依赖于hdfs。 client、zookeeper、hmaster、hregionserver、hlog、hregion、store、mestore、storefile、hfile client hbase的客户端，包含访问hbase的接口（shell、java、api） client维护一些cache加速对hbase的访问，如region的位置信息 zookeeper 监控master的状态，保证有且仅有一个active的master，达到高

电信采集项目之协处理器 简介 协处理器允许用户在region服务器上运行自己的代码，允许用户执行region级别的操作，并且可以使用与RDBMS中触发器(trigger)类似的功能。在客户端，用户不用关心操作具体在哪里执行，HBase的分布式框架会帮助用户把这些工作变得透明。 协处理器框架提供了一些类，用户可以通过继承这些类来扩展自己的功能。主要分为以下两大类 observer 这一类协处理器与触发器(trigger)类似：回调函数（也被称作钩子函数，hook）在一些特定事件发生时被执行。这些事件包括一些用

rowkey设计 1）长度原则 最大值64KB，推荐长度为10 ~ 100byte 最好8的倍数，能短则短，rowkey如果太长会影响性能 2）唯一原则 ： rowkey应该具备唯一性 3）散列原则 盐值散列：不能使用时间戳直接作为rowkey，在rowkey前增加随机数 字符串反转 ：1312312334342， 1312312334345 电话号码：133 + 0123 + 4567 计算分区号：hashMap ...

hbase之过滤器1.初始化2.先添加数据3.PageFilterDemo4.FamilyFilter5.FirstKeyOnlyFilterDemo6.RowkeyFilter7.qualifierFilter8.SingleColumnValueFilterDemo9.释放资源 比较器类型 正则比较器 子串比较器 二进制前缀比较器 二进制比较器 过滤器分类 PageFilter FamilyFilter FirstKeyOnlyFilter RowFilter QualifierFilter Co

FilterListDemo 其中HbaseUtil为工具类 点击此处可查看 import com.jxlg.hbaseApi.util.HbaseUtil; import org.apache.hadoop.hbase.CompareOperator; import org.apache.hadoop.hbase.client.Result; import org.apache.hadoop.hbase.client.ResultScanner; import org.apache.hadoop.hbas

DML篇1.定义全局变量2.初始化table对象3.插入数据4.获取数据5.多行获取数据6.遍历全部数据7.删除数据8.释放资源 1.定义全局变量 private Table table=null; private final TableName tableName= TableName.valueOf("jxlg:test1"); private final Logger logger =

Hbase对表的操作 1.定义全局变量 //admin对象 private Admin admin=null; //table名字 private final TableName tableName= TableName.valueOf("jxlg:test1"); //创建一个日志对象处理本类异常 private final Logger logger = Logger.g

CreateNamespace 连接zookeeper，获取hbase的资源，创建namespace import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.NamespaceDescriptor; import org.apache.hadoop.hbase.client.Admin; import org.a