chaohui2638457321的博客

HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统 1、特点 1.海量存储 2.列式存储 这里的列式存储其实说的是列族存储，Hbase 是根据列族来存储数据的。列族下面可以 有非常多的列，列族在创建表的时候就必须指定。 3.易扩展 4.高并发 2、HBase架构 从图中可以看出 Hbase 是由 Client、Zookeeper、Master、HRegionServer、HDFS 等几个组件组成，下面来介绍一下几个组件的相关功能： 1）Client Client .

1、部署zookeeper和hadoop 2、解压HBase 解压HBase压缩包到 opt 目录下 [root@zhaohui01 opt]# tar -zxvf hbase-1.3.1-bin.tar.gz 3、修改配置文件 1.hbase-env.sh export JAVA_HOME=/opt/jdk-1.8 export HBASE_MANAGES_ZK=false export HBASE_PID_DIR=/opt/hbase-1.3.1/pids 在 /opt/hbase-

1、基本操作 hbase shell #进入客户端 help #查看帮助 list #查看当前数据库有哪些表 2、表操作 创建表 hbase(main):001:0> create 'stu','info' 插入数据 hbase(main):003:0> put 'student','1001','info:sex','male' hbase(main):004:0> put 'student','1001','info:age','18' hbase(main):005

在本地运行mapReduce on HBase程序时，报错： org.apache.hadoop.yarn.api.records.LocalResource.setShouldBeUploadedToSharedCache(Z)V 报错原因： 由于maven导入的hbase-server或者hbase-client依赖中某些hadoop依赖版本与集群安装的hadoop版本不符合，比如，我在导入hbase依赖时，导入了hadoop的部分架包为2.5.2的jar包。 解决办法： ...

1、HBase读数据流程 Client 先访问 zookeeper，从 meta 表读取 region 的位置，然后读取 meta 表中的数据。meta中又存储了用户表的 region 信息； 根据 namespace、表名和 rowkey 在 meta 表中找到对应的 region 信息； 找到这个 region 对应的 regionserver； 查找对应的 region； 先从 MemStore 找数据，如果没有，再到 BlockCache .

1、自定义MapReduce 目标：将集群上的 fruit.tsv 文件 通过编写 MapReduce程序，最终保存到HBase上的fruit表中 注意：需要提前在HBase上把表创建好 流程： 1、编写Mapper类，将读取到的内容传到Reducer中 package com.zch.hbase.mr1; ​ import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache

自定义MapReduce on HBase