风不止步的博客

1.HBase介绍HBase是一种Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式数据库。利用Hadoop HDFS存储HBase的数据文件,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为HBase分布式协同服务。主要用来存储非结构化和半结构化的松散数据。2.HBase数据模型 RowKey ...

我们看到HBase集群的物理模型，包括：Client、ZooKeeper、HMaster、HRegionServer、HLog、HRegion、Store、StoreFile、MemStore。对于HBase，它的元数据存放在ZooKeeper中，真实数据存放在MemFile(内存)和StoreFile(HDFS)中。一. 写数据过程(1) Client先把数据写入到HLog中。(HL...

我使用Ambari安装的Hadoop集群及扩展组件，其中包括：HDFS、MR、Yarn、ZK、Hive、HBase等。后续有时间会补上Ambari和CDH安装管理Hadoop集群的博文。1.开启HBase Server因为HBase数据存储在HDFS上，元数据由ZK管理。因此，首先在Ambari管理页面打开HDFS、ZK、HBase服务(其他服务就不打开了，电脑内存消耗太大)。也可...

使用Java调用HBase的常用操作。首先，新建一个Maven项目，导入HBase依赖，编写Java操作HBase的工具包。1.新建Maven项目，导入HBase相关依赖<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" x...

使用MapReduce操作HBase表数据，比如实现HBase数据迁移，从一个表抽取数据导入另一个表。1.首先，我们新建maven项目，并导入hbase相应的依赖包<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:...

一般情况下，我们的数据来源是：RDBMS或日志文件。数据迁移常用方式：使用HBase Put方式、HBase自带MR方式、bulk load工具方式。Java API操作HBase Put、自定义HBase MR两种方式，我们在前面已经使用过了，重点看一下importtsv、bulk load方式。1.HBase使用importtsv导入数据实际上类似与我们自己写的mapredu...

HBase的namespace中存放tables。默认情况下：default：未指定命名空间创建的表，都在此命名空间下存放。 hbase：系统的命令空间，主要存放：meta表、命名空间。 1.多个列族和设置属性# 创建命名空间create_namespace 'ns1'# 查看命名空间list_namespace# 创建表# create 'ns1:t1',{N...

1.HBase与Hive集成配置HBase与Hive集成：Hive数据存储在HBase、Hive表的描述信息存储在Hive。因为，Hive是高延迟的，而HBase是低延迟的。我们集成的目的就是利用HBase的优势。 集成Hive创建表的方式：(1) 管理表 - Hive数据存储指定在HBase上。(2) 外部表 - 现有一个HBase表，需要对表中数据进行分析。 实际上，Hive成了HB...