【hive】时间段为五分钟的统计

问题内容

• 今天遇到了一个需求,需求就是时间段为5分钟的统计.有数据的时间戳.对成交单量进行统计.

想法思路

• 因为数据有时间戳,可以通过from_unixtime()来获取具体的时间.
• 有了具体的时间,就可以用minute()函数获取对应数据所在的分钟.(minute()获取到的分钟为字符串,需要进行类型转换cast())
• 那么怎么通过获取到的minute来进行分组呢?
  • 想法 00 - 05 应该分到一组, 05 - 10 应该分到第二组,依次类推.
  • 用minute 整除 5 的话, 00 - 05 整除 5 都为 0, 05 - 10 整除 5 都为1,依次类推
  • 这样就可以把每5分钟的数据都分到了一组.
  • 注意,hive中的 minute / 5 的话并能整除,所以需要函数向下取整,用floor()函数来完成.
• 虽然把分钟分开了,但是并不能仅仅按照分钟来分组,这样就把每个小时的相同分组分成一组,所以每个小时之间也是一个聚合维度.

具体步骤

• 先通过时间戳取到数据对应的小时和分钟.
  • 小时 from_unixtime(time,'yyyyMMdd HH')
  • 分钟 minute(from_unixtime(time))
• 对分钟进行整除5来完成分段.(同时需要对获取到的minute进行类型转换)
  • floor(cast(minute(from_unixtime(time)) as int) / 5)
  • 如果要是变时间段的话,分钟为单位,除