hive学习中错误总结(二)

本文分享了在使用Airflow进行大数据处理时遇到的动态分区调度难题及解决过程。通过将动态SQL语句包裹在双引号中,成功解决了调度错误,实现了hive表的动态分区加载。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

错误原因:hive表做了分区,项目需要统计当月的数据,我们将数据按月进行了加工然后做了存储。相当于ODS-->DW-->APP的过程。整个逻辑已经实现,需要做一个工作流的调度,项目组使用的airflow;坑就出现在airflow的调度,让我搞了五个小时(实际太菜),逻辑代码运行一点没问题,放在airflow调度就报错,一度崩溃。

每次导数都是静态分区的导数,需要动态传参数,airflow的使用了bashoperator的方式,加入了bash注意的所有事项,还是报错,最后抱着试一试的态度把动态SQL加上了双引号就解决了,整个调度就起来了。记录这一过程,勉励自己加油!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值