数据仓库,Hive中使用 不等于 符号进行条件过滤时的坑
最近在建设数据仓库,处理数据的过程中,经常反复使用hive的HQL语句,尽管HQL和SQL语言有很多相同之处,但也并不是说HQL就能通用SQL的语法。在使用过程中要尤为注意。事情经过是这样的,我在把业务系统数据同步到数仓(数据存储在Hive)中时,在数据汇总层(DWS),对数据进行汇总处理时,发现有数据丢失的问题,经过排查,发现是在使用 <> 引发的坑。Hive 中 != 或 <> 致命陷阱业务场景:把业务数据抽到ODS层(原始数据层)、在DWS层(数据汇总层),对多张多.
原创
2020-06-13 12:52:07 ·
2396 阅读 ·
1 评论