hive读取数据细节——按分区小时取数据——hive入门5

在使用Hive查询夜间22点至次日1点数据时,需结合day与hour解决逻辑错误。通过将条件转化为day-hour组合,解决了返回空的问题。尝试将Hive查询转化为Python脚本执行,但在加入额外条件如`gender='female'`时,遇到了三层引号嵌套的困扰,导致执行未得到预期结果。此外,发现直接运行Hive读取一天数据速度慢,调整队列配置后性能显著提升,特别是在有join操作的场景下。对于单表查询,即使限制很短的时间范围,仍无法正常工作,问题待解决。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

遇到一个细节问题,取夜间的数据,从22点到次日1点之间的数据怎么整?

select id from student where day>20200509 and hour>=22 and day<=20200510 and hour<=1 limit 10;

这个思路是清晰的,但hour限制的不对,因为不可能有既大于22又小于1的数存在,所以直接返回空。实际上这段时间有数据

 

这种情况要将day与hour拼接起来,一起使用,可以解决问题。感谢同事大佬。

 

补充:20200604 16:46

我想直接写成py脚本执行这个命令,但由于又增加了个限制比如,where gender='female'

这种的话就要引号里面套引号,套引号,因为最后还有个hive

三层引号问题怎么解决啊?最后这个用的

"""  """

但是没有输出结果,不知道是没有数据还是没有存入(即,有问题)

直接hive读取一天数据都很慢,设置队列后速度快很多(该队列map 和reduce数很多,可能与此有关)

上面是有join的情况,我试试单个表,无论改成多短时间内的都不行的,这就蛋疼了。

 

 

 

For Video Recommendation in Deep learning QQ Group 277

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小李飞刀李寻欢

您的欣赏将是我奋斗路上的动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值