hive “Struct is not null“ gets evaluated as nullable always causing filter miss in the query

项目场景：

hive离线数仓，数据从ODS流向DWD时，无法判断struct类型非空

---

问题描述

把flume采集到的日志数据写入kafka，再从kafak落地到hive的ods层时，使用的类型为复杂数据类型struct。数据从ODS流向DWD层时，即便加上非空的判断条件，仍然出现脏数据

---

原因分析：

通过查看执行计划，排查

issue

 set hive.cbo.enable=TRUE ;
 explain select count(*)  from ods_log_inc   where  page is not null