本文记录了在Azkaban中运行SparkSQL遇到的动态分区错误及其解决方案。首先尝试转换文件格式未解决问题，然后将运行模式从cluster改为client，详细报错显示需要调整分区字段位置。最终通过将分区字段移动到select语句末尾成功解决了问题。
azkaban运行SparkSQL时报如上错误，解决过程：
1、首先百度查阅问题，有说是将文件格式设置为unix格式即可，于是检查发现格式并没有错。
2、将cluster运行模式修改为了client模式，再次运行，查看到详细报错如下：
然后有两种解决方法：
1、增加动态分区数量（因为不知道增加多少合适，所以该方法我没有尝试，选用了第二种）；
2、将SparkSQL里，分区字段由原来的开头挪到最后一个位置，我是以dt为分区字段，具体如下：
select column1,column2,column3,'$date' as dt from table
3、完美解决。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
