Movle

目录一. HBaes介绍    1.1 HBase简介    1.2 HBase的角色        1.2.1 HMaster        1.2.2、HRegionServer    1.3、HBase的架构&.

HBase部署1、Zookeeper正常部署首先保证Zookeeper集群的正常部署，并启动之：/opt/module/zookeeper-3.4.5/bin/zkServer.sh start2、Hadoop正常部署Hadoop集群的正常部署并启动：/opt/module/hadoop-2.8.4/sbin/start-dfs.sh/opt/module/hadoop-2.8.4/sbin/start-yarn.sh3、HBase的解压解压HBase到指定目录：tar -zxvf

目录一. 基本操作    1.0 命名空间的操作    1.1 表的操作    1.2 常用Shell操作一. 基本操作(1).进入HBase客户端命令行bin/hbase shell(2).查看帮助命令hbase(main)> help(3). 查看当前数据库中有哪些表hbase(main)> list(4)查看当前数据库中有哪些命名空间.

目录一.读写流程    1.1 HBase读数据流程    1.2 HBase写数据流程二. 退役(decommissioning)    2.1第一种方案    2.2 另一种方案三.Hbase集群出问题如何重置一、读写流程1.1、HBase读数据流程(1).HRegionServer保存着.META.的这样一张表以及表数.

目录    1.1、高可用    1.2、Hadoop的通用性优化    1.3、Linux优化    1.4、Zookeeper优化    1.5、HBase优化        1.5.1、预分区 &nb.

0.用途通过HBase的相关JavaAPI可以实现伴随HBase操作的MapReduce过程，比如使用MapReduce将数据从本地文件系统导入到HBase的表中，比如从HBase中读取一些原始数据后使用MapReduce做数据分析1.pom.xml<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId>

1.HBASEUtil.javapackage HBaseUtil;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.hbase.HTableDescriptor;import org.apache.hadoop.hbase.NamespaceDescriptor;import org.apache.hadoo

HBase的MapReduce任务过程1.查看HBase的MapReduce任务所需的依赖：cd /opt/module/hbase-1.3.1bin/hbase mapredcp2.执行环境变量的导入export HBASE_HOME=/opt/module/hbase-1.3.1export HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp`3.运行官方的MapReduce任务二.案例一：统计default:student表中有多

1.构建mapper类ReadFruitMapper.javapackage HBaseMR.HBaseToHBase;import java.io.IOException;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop.hbase.client.Put;import org.apache.hadoop.hbase.client.Resul

1.构建mapperReadFruitFromHDFSMapper.javapackage HBaseMR.HDFSToHBase;import org.apache.hadoop.hbase.client.Put;import org.apache.hadoop.hbase.io.ImmutableBytesWritable;import org.apache.hadoop.hbase.util.Bytes;import org.apache.hadoop.io.LongWritable;

一. Phoenix介绍    可以把Phoenix理解为Hbase的查询引擎，phoenix，由saleforce.com开源的一个项目，后又捐给了Apache。它相当于一个Java中间件，帮助开发者，像使用jdbc访问关系型数据库一些，访问NoSql数据库HBase。    phoenix，操作的表及数据，存储在hbase上。phoenix只是需要和Hbase进行表关联起来。然后再用工具进行一些读或写操作。 

一.HBase与Hive的对比HiveHbase特点类SQL 数据仓库NoSQL (Key-value)适用场景离线数据分析和清洗适合在线业务延迟延迟高延迟低存储位置存储在HDFS存储在HDFS二.HBase与Hive集成使用1.环境准备因为后续会在操作Hive的同时对HBase也会产生影响，所以Hive需要持有操作HBase的Jar，那么接下来拷贝Hive所依赖的Jar包(或者使用软连接的形式),记得还有把zookeeper的jar包考入

一.Sqoop集成HBase1.利用Sqoop在HBase和RDBMS中进行数据的转储。2.相关参数：参数描述–column-family <family>设置导入的目标列族–hbase-create-table是否自动创建不存在的HBase表(这就意味着，不需要手动提前在HBase中先建立表)–hbase-row-key <col>mysql中哪一列的值作为HBase的rowkey，如果rowkey是个组合键，则以逗号分隔(注：避免row