行走的数据智能

文章目录 窗口分析函数 1. 分析函数 2. 聚合函数 3. 窗口函数 行列转换 1. 行转列 2. 列转行 JSON处理 1. JSON对象 2. JSON数组 Hive SQL Spark SQL 时间处理 窗口分析函数 函数中用到的表数据如下图： 1. 分析函数 row_number() rank() dense_rank() 这3个函数通常用在组内.

一、Hive常用命令 查看分区 show partitions lake_bg_ods.ods_bg_tb1; 查看建表语句 show create tablelake_bg_ods.ods_bg_tb1; 二、Impala常用命令 查看分区以及各分区数据大小以及存储HDFS路径 show partitions lake_bg_o...

在企业上使用 Hive进行离线批量数据统计时，有时会遇到 Oozie工作流调度失败，导致很多 ptdate时间分区没有数据，可以通过 Hive创建临时表存储所有缺失的ptdate时间分区数据，然后通过Hive动态分区查询临时表导入数据至最终统计结果表中。 一、在正式介绍 Hive 动态分区恢复静态分区表数据时，先介绍一下 hive load导入数据的用法 hive ...

hive 动态分区与静态分区，静态分区需要制定分区字段的值插入分区数据，动态分区可以根据分区字段的值自动插入对应分区 静态分区：须指定分区字段的值 insert overwrite table test.tmp_edw_customer_event_detail_di partition(dt='20161218') select cid ...

1、Hive语句的书写顺序：（从前往后） (1)select (2)from (3)join on (4) where (5)group by (6)having (7)distribute by/cluster by (8) sort by (9) order by (10) limit (11) union(去重不排序)/union all（不去重不排序） 2、Hive语句的执行顺序：...

文章目录 1关系运算 1.11、等值比较: = 1.22、不等值比较: 1.33、小于比较: < 1.44、小于等于比较: <= 1.55、大于比较: > 1.66、大于等于比较: >= 1.77、空值判断: IS NULL 1.88、非空判断: IS NOT NULL 1.99、LIKE比较: LIKE 1.1...

文章目录 1显示分区 2添加分区 3删除分区 4修改分区 5添加列 6修改列 7修改表属性 8表的重命名 显示分区 show partitions iteblog; 添加分区 ALTER TABLE table_name ADD [IF NOT EXISTS] PARTITION partition_spec [LOCA...