m0_49359581的博客

java连接Hive一、BaseConfig类二、BaseDao类三、Result类 一、BaseConfig类 import java.io.FileReader; import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; import java.util.Properties; import java.util.regex.Matcher; import java.util.rege

一、什么是动态分区 二、 为什么使用动态分区 从业务层面： ①：当我们在业务中频繁的对某一个字段分区聚合时，就会将该字段作为分区字段来设置分区，当有大量的数据需要存储时， 可以一次性的将这些数据导入分区中（与静态分区不一样，静态分区一次只能导入一个分区的数据） ②： 在分布式计算框架中减少数据的IO迁移带来的负载，从而提升效率，性能 从技术层面： 开启动态分区的模式：（静态分区不需要） set hive.exec.dynamic.partition=true

数据倾斜产生的原因 数据倾斜的原因很大部分是join倾斜和聚合倾斜两大类

一、函数 (一)常用函数 (二)、窗口函数 排序： row_number(): 排序时从1开始自增，相当于是自增列，1，2，3，4，5... rank(): 排序时从1开始，出现相同值时空缺，1，2，2，4，4，6... dense_rank(): 排序时从1开始，出现相同值时不留空缺：1，2，2，3，3，4... cume_dist: 从小于等于当前值的行数/分组内总行数（占比）比如：统计小于等于当前薪水的行数（人数，一行代表一个人），所占总行数（人数）的比例 percent_rank

一、Hive是什么 二、Hive的作用 三、Hive的优势 四、Hive基本操作 (一)、数据库 (二)、数据表 分区表 分桶表