williamjame的博客

lv1、lv2:对应的视图名称lvs1、lvs2：生成对应的索引值,从0、1、2...开始递增lvws1、lvws2:视图的字段名称

hive sql行转列后 列转行场景：对拼接的手机号拆分后解密，解密完再拼接总结使用函数：concat_ws(’,’,collect_set(column))说明：collect_list 不去重，collect_set 去重。 column的数据类型要求是string

【代码】Hql取上周、上月、上季度、去年第一天和最后一天。

hive loading 时嵌套目录报错添加set hive.mapred.supports.subdirectories=true;

Hive在使用过程中不可避免需要对NULL、’’（空字符串）进行判断和识别。Hive默认情况下底层存储空值跟其他传统数据库有所不同。1、hive默认存储空值的规则 （1） 不同数据类型对空值的存储规则 Int与String类型，NULL底层默认存储为\N，查询时显示为NULL。String类型的数据如果为”“，存储则是”“，另外往Int类型的字段插入数据””时，结果还是\N。（2） 不同数据类型

导出到本地：insert overwrite local directory '/app1/ai/nn/' row format delimited fields terminated by '|' select * from DIM_NE_EC 导出本地目录：’/app1/ai/nn/’ 分隔符： ‘|’

添加字段alter table 表名 add column (列名 STRING COMMENT 'Department name');排序ALTER TABLE 表名 CHANGE column 列名 列名 类型 after 列名（放在哪个字段后）；

1. 业务处理优化原则Hive对复杂SQL没有关系形数据库表现好，业务过程可使用临时表使用过程更清晰简单；关联条件尽可能避免使用函数、正则表达式。使用MAPJOIN()会将较小的表 加载到内存中，使连结过程在Map阶段完成分区避免数据倾斜问题。jobs数比较多的作业运行效率相对比较低。可选择tez方式加快小数据量的查询速度。不要求全局有序时使用Distribute By + S...