u010160949的博客

布隆过滤器1.布隆过滤器2.1.布隆过滤器它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。布隆过滤器判断一个元素不在，肯定不在判断元素在的话，再数据库在进行查询。实现原理:布隆过滤器的实现原理和hash表的数据原理差不多。数据通过hash函数将数据映射到某个地址。如果有冲突会( 拉链法、开放地址法)出处理数据冲突的。布隆过滤器主要是数据通过通过映射函数映射到多个二进制位上。当某个数据映射到多个二进制位有一个不为1，说明不存在。数据通过

hbase 底层原理1.hbase 架构2.物理存储2.1整体物理结构1.hbase 架构Client职责HBase有两张特殊表：.META.：记录了用户所有表拆分出来的的Region映射信息，.META.可以有多个Regoin-ROOT-：记录了.META.表的Region信息，-ROOT-只有一个Region，无论如何不会分裂。ZooKeeper职责1.ZooKeeper为HBase提供Failover机制，选举Master，避免单点Master单点故障问题2.存储所有Region的寻

java API1.java api 操作hbase1.java api 操作hbasepublic class HbaseDemoTest { // 声明静态配置 static Configuration conf = null; private static final String ZK_CONNECT_STR = "bigdata02:2181,bigdata03:2181,bigdata04:2181,bigdata05:2181";

基本原理1.Hbase概述1.1 什么是Hbase?1.2 hbase 特点1.3 Hbase 核心物理概念1.Hbase概述1.1 什么是Hbase?HBase 是建立在 HDFS之上，高可靠性、高性能、列存储、多版本的 NoSQL 的分布式数据存储系统，实现对大型数据的实时、随机的读写访问。1.2 hbase 特点库:1、高并发，解决海量数据集的随机实时增删改查2、HBase本质依然是Key-Value数据库，不支持join等复杂操作3、不支持复杂的事务，只支持行级事务4、HBas

hive 调优1.调优概述1、Hive的建表设计层面1.1利用分区表优化1.2 利用分桶表优化1.3 选择合适的文件存储格式1.4 选择合适的压缩格式2、HQL语法和运行参数层面2.1.查看Hive执行计划2.2列裁剪2.3 分区裁剪2.4 谓词下推1.调优概述Hive调优的作用：在保证业务结果不变的前提下，降低资源的使用量，减少任务的执行时间。1、Hive的建表设计层面1.1利用分区表优化当一个 Hive 表的查询大多数情况下，会根据某一个字段进行筛选时，那么非常适合创建为分区表，该字段即为分