tyh1579152915的博客

package tyh.test;import tyh.constants.constants;import tyh.dao.HbaseDao;import tyh.utils.HBaseUtil;import java.io.IOException;public class Test { public static void init() { //1、创建命名空间 HBaseUtil.CreateNameSpace(constants.NAMESP.

HbaseDao：是定义一些内部操作的工具类，是实现自己程序主要功能的实现类，如：发布微博、删除微博、关注用户、取关用户、获取用户微博详情和获取用户初始化界面package tyh.dao;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop.hbase.TableName;import org.apache.hadoop.hbase.clie.

Utils：主要是一些工具类，用以完成一些基本操作如：创建命名空间、创建表、判断表是否存在等功能package tyh.utils;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.Admin;import org.apache.hadoop.hbase.client.Connection;import org.apache.hadoop.hbase.client.ConnectionFactory.

以下代码是实现将HDFS中的数据文件保存到HBase中若是要读HDFS中的文件则map继承Mapper，若要读取HBase中的文件则继承TableMapper其中TableMapper只需要传两个out put的参数，另外两个是默认的若要写入HBase则reduce要继承TableReducer，其中Out Put Key是指定了Mutation类型的，支持增（put）删（delete）改（put）几种类型若用了TableMapper则不需要指定输入路径，且在Driver中用TableMap

1、因为Hive与HBase要交互那么Hive需要持有HBase的一些jar包先配置临时环境变量export HBASE_HOME=/opt/module/hbaseexport HIVE_HOME=/opt/module/hive将Hive需要的HBase依赖以软链接的方式拷贝到Hive的lib目录下ln -s $HBASE_HOME/lib/hbase-common-1.3.1.jar $HIVE_HOME/lib/hbase-common-1.3.1.jarln -s $HB.

1、插入数据public static void putData(String tableName, String rk, String cf, String cn, String value) throws IOException { //1、获取表对象 Table table = connection.getTable(TableName.valueOf(tableName)); //2、创建put对象 Put put = new

注：需要配置Maven，并设置相关配置导入HBase的包 <dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.3.1</version>

HBase第五章：HBase架构文章目录一、HBase逻辑存储模型二、HBase架构（1） HMaster（2） HRegionServer（3） HRegion（4）MemStore（5） HLog（6） HFile（7）StoreFile三、HBase写流程四、刷写（1）自动刷写的时机（2）手动刷写五、读流程六、Compaction（1）Minor Compaction的验证（2）Major Compaction一、HBas

HBase第四章：HBase shell的使用目录HBase前言一、DDL语言1、list:查看当前default命名空间下所有的表2、create：创建表，下面为HBase shell关于create命令的帮助3、查看表结构 （describe '表名'）：4、那如何在其它命名空间创建表呢？在表t1前加 （命名空间.） 就行了，如：5、创建命名空间6、删除表7、删除命名空间二、DML语言1、增加数据2.读取数据①scan的用法：②put用

HBase第三章：安装HBase文章目录HBase前言一、启动Hadoop集群和Zookeeper（1）群起脚本二、使用步骤1.引入库2.读入数据总结前言主要讲解HBase的安装与注意事项。提示：以下是本篇文章正文内容，下面案例可供参考一、启动Hadoop集群和ZookeeperHBase是基于HDFS且自带高可用的，所以安装前要先启动集群和Zookeeper（1）群起脚本下面展示一些 群起脚本代码，这里只写起一台的，请同学们按自己集群有多少个自行增加// An highligh

HBase第二章：HBase的数据结构及逻辑存储结构提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录HBase前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该

HBase第一章：HBase是什么？文章目录HBase一、前言二、HBase的优点？容量大按列存储稀疏性高可靠性三、总结一、前言Hbase是Apache基金会的Hadoop项目的一部分，使用java语言实现的将HDFS作为底层文件存储系统2006 年 11 月，Google 公司发表了论文 Bigtable: A Distributed Storage System for Structured Data，但是源码没有对外开放。2007 年 2 月，项目发起人根据 Bigtable 的