小小鱼

HBase数据倾斜问题文章目录相关知识：负载均衡：避免表region分布倾斜方式1：方式2：相关知识：数据存入hbase表时会按照rowkey落在不同的region中，每个region都有边界（除非你只有一个region）startrow和endrow，rowkey在表中是按照ASCⅡ码的字典排序的。负载均衡：region被regionserver管理，Hbase可以自动将region balance到各个regionserver上，使得每台regionserver上region的个数均匀分布。当

文章目录1、先把消费者组的游标重置，防止该消费者组消费过数据无法再消费(执行操作前做就可以)2、创建HBase表3、模板模式批量消费kafka插入hbase3.1、接口层读和写3.2、工具类：读写之前，需要分别创建消费者对象和hbase的连接connection，创建连接需要配置。3.3、读kafka的实现类3.4、写HBase的实现类3.5、简单工厂模式创建连接执行器4、检验数据导入是否正确1、先把消费者组的游标重置，防止该消费者组消费过数据无法再消费(执行操作前做就可以)# 消费者组的游标重置ka

文章目录抽象工厂模式的Hive和HBase连接一、dwdom工程1、新建dom4j工程1.1 新建接口Dom1.2 新建类DomFactory1.2.1 重写init方法1.2.2 重写get方法2、打成jar包二、dwjob工程1、导入pom依赖1.1 自定义的Dom依赖1.2 hadoop相关依赖2、Hive JDBC2.1 新建接口Hive2.2 新建类HiveFactory3、HBase JDBC3.1 新建HBase接口3.2 新建类HBaseFactory4、通用常量配置5、Job类5.1 新建

1、准备工作在C:\Windows\System32\drivers\etc\hosts 中添加 Linux的ip和别名映射：➢192.168.221.140 chust01➢@Before表示在任意使用@Test注解标注的public void方法执行之前执行添加pom依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId&g

NoSQL属于非关系型数据库，不同于SQL语言的ACID，它的理论支撑是CAP理论，CAP理论的核心是：一个分布式系统不可能同时很好的满足一致性，可用性和分区容错性这三个需求，最多只能同时较好的满足两个。因此，根据 CAP 原理将 NoSQL 数据库分成了满足 CA 原则、满足 CP 原则和满足 AP 原则三 大类：CA - 单点集群，满足一致性，可用性的系统，通常在可扩展性上不太强大。CP - 满足一致性，分区容忍性的系统，通常性能不是特别高。AP - 满足可用性，分区容忍性的系统，通常可能对一致性

目录一、HBase是什么？有什么特点？二、HBase的架构中包含了哪些组件？每个组件有什么作用？三、HBase的读写流程？四、HBase的rowkey如何设计？五、HBase和Hive的区别有哪些？六、Region的拆分有哪些策略？七、说一说对Sqoop的认识？八、HBase的数据存储结构是什么？一、HBase是什么？有什么特点？列式存储的数据库特点：使用HDFS存储，并利用其可靠性访问速度快支持随机读写高扩展高并发二、HBase的架构中包含了哪些组件？每个组件有什么作用？Cile

目录一、Hbase能进行实时查询的原理二、Region拆分、预拆分、合并——待定三、HBase Compaction（压缩）的作用是什么？四、RowKey设计原理五、HBase配置优化思路一、Hbase能进行实时查询的原理其实就是问HBase实时查询的速度为啥这么快从内存里读读的时候按照rowkey顺序读rowkey根据索引的设计二、Region拆分、预拆分、合并——待定1、自动拆分策略2、预拆分的手段3、Region合并三、HBase Compaction（压缩）的作用是什么？1

HBase Shell操作整理一、基本操作二、库的操作三、表的操作一、基本操作进入HBase客户端：hbase shell查看帮助命令：help查看当前数据库中有哪些表：list查看当前用户：whoami二、库的操作hbase里的数据库叫namespace，一个namespace下面有多个表查看命名空间：list_namespace创建命名空间：create_namespace ‘kb10’删除命名空间：drop_namespace ‘kb10’三、表的操作表操作冒号是引

安装和环境配置一、zookeeper安装和环境配置二、HBase安装和配置一、zookeeper安装和环境配置1、先用XFTP把zookeeper压缩文件上传到/opt/download/hadoop里2、解压到要放的文件目录[root@chust01 hadoop]# pwd/opt/download/hadoop[root@chust01 hadoop]# tar -zxvf zookeeper-3.4.5-cdh5.14.2.tar.gz -C /opt/software/hadoop3

HBase，Hadoop DataBase的简称是一种非关系型数据库，not only SQL。HBase是一个分布式的架构，底层是HDFS的架构，由各个DataNode组成。HBase从功能上可以分为三个部分：Zookeeper、Master和HRegionServer。HBase体系结构一、Zookeeper二、HRegionServer三、HMaster一、ZookeeperZookeeper负责监控和协调并处理各个服务器运行期间遇到的错误，存储HBase中的ROOT根数据表和源数据META