南风知我意

通常计算的时间间隔为次日、3日、7日、30日、60日，根据业务不同需求可以选择不同的计算方式以及时间间隔，重点是要和产品负责人以及运营人员对好指标口径。

亿万级海量数据去重软方法

mysql周、季度、月、年时间操作

weekofyear 这一周算上一年还是下一年，`取决于这一周的大多数日期（4天以上）在哪一年`。算在前一年，就是前一年的最后一周；算在后一年就是后一年的第一周

牛客SQL刷题记录

EXISTS 子查询找到的提交 NOT EXISTS 子查询中 找不到的提交 说明：不要去翻译为存在和不存在，把脑袋搞晕。

explodedemoexplode(map)lateral view explode(map)explode(array)lateral viewdemolateral view explode统计id出现次数lateral view parse_url_tuple列转行单列转多行LATERAL VIEW explode多列转多行LATERAL VIEW posexplodesplit行转列单行转多列split多行转多列max case when

sql之各种join

1. 少用count(distinct )建议用group by 代替 distinct 。原因为count(distinct)逻辑只会有一个reducer来处理,即使设定了reduce task个数，setmapred.reduce.tasks=100也一样，所以很容易导致数据倾斜。坊间传闻，在面对大数据量时很多大厂都“明令禁止使用distinct”。如sql语句：select count(distinct uid) from users建议改成： select count(*) fr

场景一:取当前数据的上一条和下一条，直到取到满足条件的为止.场景二:要计算每天每个员工当月累计的销售额，但是某些员工在某几天是没有销售记录的，怎么处理?场景三:使用HiveQL实现类似滑动窗口的效果.场景四:计算满足一定条件的连续..........

很简单的sql 用户分析语句 ：只要自定义简单的udf函数 获取统计时间createdatms字段的使用的日历类 add方法 和simpledateformat 将long类型的 定义多个重载方法 获取返回值int类型 或者long类型 进行时间判断即可getdaybegin（天开始），比如2017-08-08这一天的createtime为15288888888888 获取到 152888880000（代表20170808 00:00:00）当天开始的凌晨 getWeekbegin，getMonthgi

1.join onSELECT 各个阶段都干了什么？（1）FROM 阶段（2）WHERE阶段（3）GROUP BY阶段（4）HAVING阶段（5）SELECT阶段（6）ORDER BY阶段例子解释1.join on 执行过程

执行以下hive ql语句：SELECT sid, class_id FROM table2 GROUP BY sid ;会报错：FAILED: Error in semantic analysis: Line 1:18 Expression not in GROUP BY key 'class_id'collect_set( col:any ) 返回一个数组： 解释：返回一个去重后的对象集合collect_list( col:any) 返回一个数组： 解释：返回一个不去

项目场景：有一次需求需要使用到正则 去匹配一个连接字符，需要把他们分开，进行处理，发现了regexp_extract的一些使用 bug问题描述首先我们可以先看一下 regexp_extract的 使用用法regexp_extract(str, regexp[, idx]) - extracts a group that matches regexp字符串正则表达式解析函数。参数解释:其中：str是被解析的字符串regexp 是正则表达式idx是返回结果 取表达式的哪一部分 默认值为