Kelovemn的记录

一：首先 说下关于时间戳和时间字符串之间的转换 时间戳转成字符串：FROM_UNIXTIME(user_ctime,'%Y-%m-%d %H:%i:%s') 字符串转成时间戳：select unix_timestamp('2018-07-01') 二：意思一样，但是不懂出来的结果为啥不一样。这段SQL分析太浪费我时间了 正确示范： select t1.uid,count(t2.tid) ...

select year(dateday),month(dateday),day(dateday),hour(timeday),floor(minute(timeday)/10),avg(indexValue) from table group by year(dateday),month(dateday),day(dateday),hour(timeday),floor(minute(ti...

SELECT concat( date_format( time, '%Y-%m-%d %H:' ) , floor( date_format( time, '%i' ) /10 ) ) AS c, count(1) FROM table WHERE time between "2019-07-08 00:00:00" and "2019-07-09 00:00:00" GRO...

详情查看：https://www.cnblogs.com/feiyumo/p/8760846.html 以防止文章丢失，我搬运过来。 ！！！转载自飞末！！！ 一、获取当前时间 1.current_date获取当前日期 2018-04-09 2.current_timestamp/now()获取当前时间 2018-04-09 15:20:49.247 二、从日期时间中提取字段 1....

一直在使用hive及spark 使用时间戳转换。最近在使用mysql现场处理一些数据的时候，也会用到数据转换。 简单的记录，之后想起来回来补充！ hive及spark中 ： 时间戳(秒级)-->2019-10-10 substring(from_unixtimw(timestamp),0,10) 2019-10-10 23:23:23 --> 2019-10-10 sub...

最近在疯狂的做数据分析～ 关于滞留  商品滞留 我的理解是 商品从发布时间到我现在统计的时间 这一段时间是 商品滞留的时间 关于流转 商品流转 是商品发布时间到商品成交订单时间 这一段时间称之为商品流转的时间 这里有用到时间相减  我的情况是获取当前时间是2018-09-01 这种格式  所以就需要转换 unix_timestamp('2018-09-01','yyyy-MM-dd...

最近在分析的时候要分析周及月的数据 那么月的话 一开始我是直接获取当月的1号及最后一天 但是后来发现数据不太对 因为这个样子跑的话 会存在最后一天数据丢失（和本身的数据有关） 所以这里就要写 获取上个月的1号及最后一天 有不对的请指正： import java.text.SimpleDateFormat import java.util.Calendar //获取前月的第一天 ...

在使用sparkSQL过程中 在SQL语句里面 有个字段里面本身带有$ 但是都知道在SQL里面识别出来会直接取值 这就达不到SQL语句的效果了 那么 下面就是如何使用的 val event = "$MP" val usersDF = sqlContext.sql( s""" | |select distinct id from dw_logstash.abc ...

之前做了留存和周月的数据定时 定时任务应该都会 留存的话有个坑 比如说7日留存 那么我们的数据日期应该-7  但是最近用到7日的交易 惯性思维直接-7 第二天发现数据不对 才想到 是7日内的数据 应该-6  ...