xiaomengzhang的博客

参考链接：拉链表详细讲解 - 知乎 (zhihu.com)代码部分：CREATE TABLE source_table( userid string, loginname string, regiondate string, phonenum string, birthday string, status string, lastlogindate string)PARTITIONED BY (datatime string)ROW FORMAT D...

（1）一列中不同值的数据量统计1.使用count count(channel = 0 OR NULL) AS '注册',count(channel = 1 OR NULL) AS '新增',2.使用sum+ifsum(IF(channel = 0, 1, 0)) AS '注册',sum(IF(channel = 1, 1, 0)) AS '新增',3.使用sumsum(channel = 0) AS '注册',sum(channel = 1) AS '新增',...

一、map的使用map的具体k-v，例如：{k1:v1,k2:v2,k3:v3}1、size(Map)函数：可得map的长度2.map_keys(Map)函数：可得map中所有的key;返回值类型: array3.map_values(Map)函数：可得map中所有的value;返回值类型: array4.array_contains(map_keys(Map),'k1')：判断map中是否包含某个key值5.split(Map['k1'],',')[1]：在k-v对...

转载：原文链接：SQL多表查询：SQL JOIN连接查询各种用法总结 - 知乎 (zhihu.com)前面在实际应用中，大多的查询都是需要多表连接查询的，但很多初学SQL的小伙伴总对各种JOIN有些迷糊。回想一下，初期很长一段时间，我常用的似乎也就是等值连接 WHERE 后面加等号，对各种JOIN也是不求甚解，今天索性就来个JOIN的小总结。首先，设定两张表，作为下面例子的操作对象。表1 学生信息表表2 专业班级表再来个SQL JOIN连接查询各种用法的大合影，先预热一下。

sql 执行过程：将sql 解析成抽象语法树--> 验证sql语法(包括字段名和语法等验证)---> 解析成逻辑执行执行计划（据语法树调用javacc的方法）-->优化逻辑执行计划--->将逻辑执行计划转化成物理执行计划-->优化物理执行计划-->执行...

建表：create table if not exists xx;删表：drop table if exists xx;删除一列：alter table xx drop 列名;清空表：truncate table xx添加表字段：alter table xx add columns(xx string comment '店铺ID');修改表字段顺序：alter table xx change 字段名（需要修改的字段） 字段名 需要修改的字段）字段类型 aft...

(1)hive -e 执行直接执行hive -e '待执行语句'设置基本参数hive --hiveconf hive.metastore.uris="xx" -e "待执行语句" > xx/xx(导出路径)动态传参hive -hivevar tableName="xx" -hivevar partitionTime="xx" -e "待执行语句"整合语句hive --hiveconf tez.application.tags="xx" --hivec...

参数设置：set tez.queue.name=${USER_QUEUE};set hive.execution.engine=tez;set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;set hive.exec.max.dynamic.partitions=100000;set hive.exec.max.dynamic.partitions.pernode=1000