lslslslslss的博客

一、对比1.Hive(1) 数据仓库Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询。(2) 用于数据分析、清洗Hive适用于离线的数据分析和清洗，延迟较高。(3) 基于HDFS、MapReduceHive存储的数据依旧在DataNode上，编写的HQL语句终将是转换为MapReduce代码执行。2．HBase(1) 数据库是一种面向列族存储的...

目录一、phoenix的简介二、phoenix的安装与基本操作Phoenix Shell操作表的映射视图映射表映射数字类型JDBC操作Phoenix二级索引全局索引包含索引本地索引（localindex）一、phoenix的简介Phoenix是HBase的开源SQL皮肤。可以使用标准JDBC API代替HBase客户端API来创建表，插入数据和查询HBase数据。1）容易集成：如Spark，Hive，Pig...

1.内存优化HBase操作过程中需要大量的内存开销，毕竟Table是可以缓存在内存中的，但是不建议分配非常大的堆内存，因为GC过程持续太久会导致RegionServer处于长期不可用状态，一般16~36G内存就可以了，如果因为框架占用内存过高导致系统内存不足，框架一样会被系统服务拖死。2.Zookeeper会话超时时间hbase-site.xml属性：zookeeper.session.timeout解释：默认值为90000...

1.什么是RowkeyRowKey是Hbase中一行数据的记录，Hbase通常通过get（得到特定rowkey的一行的数据），scan（通过startRow和stopRow确定范围来检索），全表扫描的方式检索数据。2.rowkey在Region中的作用当大量请求访问HBase集群的一个或少数几个节点，造成少数RegionServer的读写请求过多、负载过大，而其他RegionServer负载却很小，这样就造成热点现象。大量访问会使热点。Region所在的主机负载过...

一、预分区设置创建表时，只有一个分区region，当该分区达到一定的值时，会进行分区，此时分区会影响Hbase的性能。而且每一个region维护着startRowKey与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维护。因此可以添加预分区。1.手动设定预分区create 'group','info',SPLITS =>['10','20','30','40']2.生成16进制序列预分区crea...

一、导入依赖<dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>2.0.5</version> <exclusions> <e

一、Region Server结构： 一个region server可以服务于多个region 每个region server有多个store、一个wal、一个block cache 一个store对应一个列族，包含memstore和storefile1）StoreFile保存实际数据的物理文件，StoreFile以Hfile的形式存储在HDFS上。每个Store会有一个或多个StoreFile（HFile），数据在每个...

1.安装前准备启动hadoop集群和zookeeper集群bin/zkServer.sh startsbin/start-dfs.shsbin/start-yarn.sh2.下载安装包地址：Index of /dist/hbase注意选择合适的版本下载安装3.配置环境变量#HBASE_HOMEexport HBASE_HOME=/opt/module/hbaseexport PATH=$PATH:$HBASE_HOME/bin4.修改hbase中hbase-env.

目录一、Hbase是什么二、Hbase的数据模型逻辑结构物理存储结构数据关键字介绍基本架构一、Hbase是什么HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库，是Apache的Hadoop项目的子项目，是一个适合于非结构化数据存储的数据库。二、Hbase的数据模型HBase的底层物理存储结构是（KV），是一个多维映射（multi-dimensional map）。逻辑结构物理存储结构数据关键...