spark sql读取不到orc格式hive表数据问题

1、问题

在做spark数据对账时，对于部分orc格式的hive表，会有spark sql读取表数据为空的情况

排查过程中发现是因为使用了tez作为hive的执行引擎，然后执行insert select union all 时，对应的hdfs数据路径，不是直接存放数据文件，而是先有子目录HIVE_UNION_SUBDIR_x，子目录下再存放数据文件

参考文章：
https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2309.html
https://blog.youkuaiyun.com/a5685263/article/details/103508097
但是只有问题，并没有针对spark的解决方案

2、解决方案

查看spark官方文档，找到一个参数

设置参数：spark.sql.hive.convertMetastoreOrc=false

问题得到解决

看文档的解释，这个参数的默认值是true，是spark操作orc表数据，默认使用内置的ORC reader和writer，替代hive的
但是遇到某些不兼容的情况，可能就直接报错或者读取不到数据了

下面这个Spark JIRA也印证了我的猜想：
https://issues.apache.org/jira/browse/SPARK-28098

补充：

后面在网上看到了这篇文章：
https://www.windism.cn/3387433632.html

这里解释的比较清楚了

另外对于Parquet格式，相应应该设置：spark.sql.hive.convertMetastoreParquet=false