qq_44509920的博客

Map代码Reduce代码Util代码驱动代码2.把预处理之后的数据进行入库到hive中数据入库效果【截图】数据入库命令【命令】create database video;create table video_ori(videoId string,uploader string,age string,category string,length string,...

sqoop是一个数据导入导出的工具，可以将关系型数据库当中的数据导入到大数据平台来，也可以将大数据平台当中的数据导入到关系型数据库当中去我们也可以通过sqoop导入数据到hbase或者从hbase当中导出数据需求一：将mysql表当中的数据导入到HBase当中来第一步：修改sqoop配置文件sqoop导入导出HBase的数据，需要修改sqoop的配置文件sqoop-env.shcd ...

hive与我们的HBase各有千秋，各自有着不同的功能，但是归根接地，hive与hbase的数据最终都是存储在hdfs上面的，一般的我们为了存储磁盘的空间，不会将一份数据存储到多个地方，导致磁盘空间的浪费，我们可以直接将数据存入hbase，然后通过hive整合hbase直接使用sql语句分析hbase里面的数据即可，非常方便需求一：将hive分析结果的数据，保存到HBase当中去第一步：拷贝...

Hive数据仓库Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询。用于数据分析、清洗Hive适用于离线的数据分析和清洗，延迟较高基于HDFS、MapReduceHive存储的数据依旧在DataNode上，编写的HQL语句终将是转换为MapReduce代码执行。（不要钻不需要执行MapReduce代码的情况的牛角尖）HBa...

文章目录需求一：读取myuser这张表当中的数据写入到HBase的另外一张表当中去需求二：读取HDFS文件，写入到HBase表当中去需求三：作业，读取HBase的表数据，然后将数据写入到hdfs上面去需求四：通过bulkload的方式批量加载数据到HBase当中去HBase当中的数据最终都是存储在HDFS上面的，HBase天生的支持MR的操作，我们可以通过MR直接处理HBase当中的数据，并且M...

文章目录第一步：创建maven工程，导入jar包第二步：开发javaAPI操作HBase表数据1、创建表myuser2、向表中添加数据3、查询数据4、过滤器查询1、比较过滤器2、列族过滤器FamilyFilter3、列过滤器QualifierFilter4、列值过滤器ValueFilter5、专用过滤器6、多过滤器综合查询FilterList5、根据rowkey删除数据6、删除表操作熟练掌握通过...

HBase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度可以对HBase中的数据进行快速定位。HBase中rowkey可以唯一标识一行记录，在HBase查询的时候，有以下几种方式：1.通过get方式，指定rowkey获取唯一一条记录2.通过scan方式，设置startRow和sto...

1、为何要预分区？增加数据读写效率负载均衡，防止数据倾斜方便集群容灾调度region优化Map数量2、如何预分区？每一个region维护着startRow与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维护。3、如何设定预分区？1、手动指定预分区hbase(main):001:0> create 'staff'...

1、flush机制1.（hbase.regionserver.global.memstore.size）默认;堆大小的40%regionServer的全局memstore的大小，超过该大小会触发flush到磁盘的操作,默认是堆大小的40%,而且regionserver级别的flush会阻塞客户端读写2.（hbase.hregion.memstore.flush.size）默认：128...

文章目录系统架构HBase的表数据模型Row Key列族Column Family列 Column时间戳CellVersionNum物理存储1、整体结构2、STORE FILE & HFILE结构3、Memstore与storefile4、HLog(WAL log)读写过程1、读请求过程：2、写请求过程：Region管理Master工作机制系统架构Client1 包含访问hba...

文章目录1、进入HBase客户端命令操作界面2、查看帮助命令3、查看当前数据库中有哪些表4、创建一张表5、添加数据操作6、查询数据操作7、更新数据操作8、删除数据以及删除表操作HBase的高级shell管理命令1、进入HBase客户端命令操作界面cd /export/install/hbase-1.2.0-cdh5.14.0/bin/$ bin/hbase shell2、查看帮助命令h...

文章目录第一步：下载对应的HBase的安装包第二步：压缩包上传并解压第三步：修改配置文件修改第一个配置文件hbase-env.sh修改第二个配置文件hbase-site.xml修改第三个配置文件regionservers创建back-masters配置文件，实现HMaster的高可用第四步：安装包分发到其他机器第五步：三台机器创建软连接第六步：三台机器添加HBASE_HOME的环境变量第七步：HB...

文章目录1、HBase基本介绍2、HBase与Hadoop的关系1、HDFS2、HBase3、RDBMS与HBase的对比1、关系型数据库2、HBase4、HBase特征简要5、HBase的基础架构1、HBase基本介绍简介hbase是bigtable的开源java版本。是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。它介于nosql和RDBM...