weixin_44966780的博客

Hbase 整合PhoenixPhoenix简介Phoenix是HBase的开源SQL皮肤。可以使用标准JDBC API代替HBase客户端API来创建表，插入数据和查询HBase数据。Phoenix特点1)容易集成：如Spark, Hive, Pig, Flume和Map Reduce;2)操作简单：DML命令以及通过DDL命令创建和操作表和版本化增量更改;3)支持HBase二级索引创建。Phoenix架构Phoenix快速入门Phoenix安装1）官网地址：https://phoe

HBase Shell 操作基本操作1．进入 HBase 客户端命令行bin/hbase shell2．查看帮助命令hbase(main):001:0> help3．查看当前数据库中有哪些表hbase(main):002:0> list表的操作1．创建表hbase(main):002:0> create ‘student’,‘info’2．插入数据到表hbase(main):003:0> put ‘student’,‘1001’,‘info:sex’,‘male

HBase 实战之谷粒微博需求分析微博内容的浏览，数据库表设计用户社交体现：关注用户，取关用户拉取关注的人的微博内容代码实现代码设计总览：创建命名空间以及表名的定义创建微博内容表创建用户关系表创建用户微博内容接收邮件表发布微博内容添加关注用户移除（取关）用户获取关注的人的微博内容测试创建命名空间以及表名的定义//获取配置 confprivate Configuration conf = HbaseConfiguration.create();//微博内容表的表名

HBase 优化高可用在 HBase 中 HMaster 负责监控 HRegionServer 的生命周期，均衡 RegionServer 的负载，如果 HMaster 挂掉了，那么整个 HBase 集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以 HBase 支持对 HMaster 的高可用配置。1．关闭 HBase 集群（如果没有开启则跳过此步）2．在 conf 目录下创建 backup-masters 文件[hadoop@hadoop102 hbase]$ touch conf

Hbase 与 Hive 的集成HBase 与 Hive 的对比1．Hive(1) 数据仓库Hive 的本质其实就相当于将 HDFS 中已经存储的文件在 Mysql 中做了一个双射关系，以方便使用 HQL 去管理查询。(2) 用于数据分析、清洗Hive 适用于离线的数据分析和清洗，延迟较高。(3) 基于 HDFS、MapReduceHive 存储的数据依旧在 DataNode 上，编写的 HQL 语句终将是转换为 MapReduce 代码执行。2．HBase(1) 数据库是一种面向列族

Hbase MapReduce通过 HBase 的相关 JavaAPI，我们可以实现伴随 HBase 操作的 MapReduce 过程，比如使用MapReduce 将数据从本地文件系统导入到 HBase 的表中，比如我们从 HBase 中读取一些原始数据后使用 MapReduce 做数据分析。官方 HBase-MapReduce1．查看 HBase 的 MapReduce 任务的执行$ bin/hbase mapredcp2．环境变量的导入（1）执行环境变量的导入（临时生效，在命令行执行下述操作

HBase API入门环境准备新建项目后在 pom.xml 中添加依赖：<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>1.3.1</version></dependency><dependency> <groupId>org.a

HBase 进阶架构原理1）StoreFile保存实际数据的物理文件，StoreFile 以 HFile 的形式存储在 HDFS 上。每个 Store 会有一个或多个 StoreFile（HFile），数据在每个 StoreFile 中都是有序的。2）MemStore写缓存，由于 HFile 中的数据要求是有序的，所以数据是先存储在 MemStore 中，排好序后，等到达刷写时机才会刷写到 HFile，每次刷写都会形成一个新的 HFile。3）WAL由于数据要经 MemStore 排序后才能

HBase 快速入门HBase 安装部署1）首先保证 Zookeeper 集群的正常部署，并启动之。2）Hadoop 集群的正常部署并启动。3）解压 Hbase 到指定目录tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/module4）修改 HBase 对应的配置文件vim hbase-env.shexport JAVA_HOME=/opt/module/jdk1.6.0_144export HBASE_MANAGES_ZK=false5）vim hbase

HBase 简介HBase 定义HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。HBase 数据模型逻辑上，HBase 的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从 HBase 的底层物理存储结构（K-V）来看，HBase 更像是一个 multi-dimensional map。HBase 逻辑结构HBase 物理存储结构数据模型1）Name Space命名空间，类似于关系型数据库的 DatabBase 概念，每个命名空间下有多个表。H