飞翔的牛

需求：根据用户出生日期，用hive sql计算用户年龄由于闰年原因，直接用datediff计算当前与出生日期天数去除以365会造成年龄不准确，所以对数据进行处理来计算准确的年龄select if(datediff(CURRENT_DATE,CONCAT(substr(CURRENT_DATE,0,4),substr('2015-03-04',5,7)))>=0, (subs...

set hive.map.aggr=true;set hive.optimize.skewjoin=true;set hive.groupby.skewindata=true;set hive.optimize.skewjoin=true;set hive.map.aggr=true;set mapred.child.java.opts=-Xmx8000m;set mapreduce...

coalesce函数coalesce(v1,v2)v1不为空，返回v1；v1为空，返回v2；都为空，返回null

alter table tablename drop partition(etl_dt>='2018-01-01');

azkaban跑批遇到一个奇葩的问题，报错：FAILED: ParseException line 1:0 character ' ' not supported heresql在hue中可以执行，但用shell命令无法执行，排查好久，发现是sql脚本文件编码格式问题，文件为bom格式，需要将文件另存为非bom格式，执行不报错...

ERROR : Failed with exception Exception when loading 1 in table dwd_loan_repay_plan_001 with loadPath=hdfs://nameservice1/tmp/hive-staging/.staging_hive_2019-09-26_16-12-25_276_6266528423926362203-107...