Veechange的博客

学习Hbase1.1.3的初级教程，在ubuntu14.0.4下，搭建Hbase1.1.3的单机模式。

对于MapReduce 作业，HBase可用作数据源——TableInputFormat，也可用作数据接收器——TableOutputFormat或 MultiTableOutputFormat，使用TableMapper、TableReducer子类，编写MapReduce作业读取或写入HBase。可以参考IdentityTableMapper和 IdentityTableReducer了解基本

由于机器重启，所以单独启动HRegionServer，结果发HRegionServer进程刚启动就自动关闭了，查看日期文件，发现报错了：Server centos6,16020,1477966664214 has been rejected; Reported time is too far out of sync with master. Time difference of 43894m

使用Spring Boot框架实现HBase交互的选型主要因为Spring Boot内嵌了Web容器，方便对应用进行微服务化开发和部署。所以打算将HBase的业务应用作为一个单服务进行开发和发布，其他相关的子系统通过RESTful API来访问。搭建项目环境时，需要注意的事项：由于Spring Boot内嵌了Web容器，所以框架默认导入了依赖：tomcat-embed-core-8.5

使用Kettle采集Oracle数据，导入到HBase。      Kettle是一个比较好用的ETL工具，个人感觉Kettle比Sqoop还要好用，主要是因为Kettle通过可视化，组件式拖拉配置就可以实现数据提取，转换、写入。而Sqoop 的shell 命令行真是不好用，而且Sqoop 2还不支持将关系型数据库的数据导入到HBase中，现在只支持导入到Hadoop。      Kett

HBase HA集群是基于Hadoop HA集群的，在搭建HBase HA集群之前需要先有1个运行正常的Hadoop HA集群环境。在做完相关HBase配置后，启动HBase时，只有主HBase启动正常，备用HBase及Region全部没有启动，排查发现是启动时报错了：java.net.UnknownHostException: HadoopCluster       这是因为，HBase

HBase集群之前部署后，HBase Master的Web是可以正常访问的，今天突然访问不了，但是备用Master的Web页面是可以正常访问的，经过分析，发现有如下错误信息：org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not s

Hbase是用Java开发的，Hbase提供的API当然也是，Hbase并没有指定特定的语言（例如Oracle的SQL语言），Hbase都是通过API来实现Hbase应用的。由于这种方便性，通过Java编写应用程序来处理Hbase数据库是比较方便的。当然也可以使用其他编程语言来实现，其他语言不做介绍。，本文简单介绍在Ubuntu14.0.4下，Eclipse的Hbase开发环境的搭建。

Hbase运行伪分布模式或完全分布模式需要依赖底层的分布式文件系统，如Hadoop、S3等，本文采用Hadoop分布式文件系统作为Hbase的底层文件系统。因为Hbase本身不支持备件的分布式存储、冗余、可扩展，所以需要依赖像Hadoop这样冗余的、可扩展、分布式的文件系统来实现。具体安装部署流程：1、安装部署Hadoop伪分布模式；2、安装部署Hbase伪分布模式。

由于实际的项目应用中，有很多不同的数据集，不同的数据访问模式和服务水平高低的不同预期。因此这些经验只是说到一些基本规则，具体在实现要根据自己的项目的实际业务的数据访问模式来进行调整。       主要的基本规则有：       1）Regions的大小定在10~50GB；       2） Cells的大小不要超过10MB，如果要存储中型数据（超过50MB），可以选择将数据存储