文章讨论了在使用Python构建HiveSQL查询时，如何处理含有默认分区中的脏数据问题。原始查询可能包含不匹配分区条件的记录，如空的dd字段。解决方案包括明确列出字段以避免全表扫描，或者在子查询中先过滤分区，再进行行号排序。这两种方法都能确保只获取指定分区（如dd=20230605）的正确数据。
1、取的数据中含有在默认分区中的脏数据。
例：
原python翻页sql为：select * ,row_number() over () as rownum from hive.table_name
where trim(dd)='20230605'
导致取到的数据中含有不属于dd=20230605该分区的数据。比如会取到部分dd为空的数据
修改后sql:
select column_list,row_number() over () as rownum
from (select * from hive.table_name where trim(dd)='20230605') t;
或者
select column_list,row_number() over (partition by dd) as rownum from hive.table_name
where trim(dd)='20230605'
或者
select column_list,row_number() over () as rownum from hive.table_name
where trim(dd)='20230605'
解决问题的办法就是把要取的字段都显式列出来或者先把指定分区的数据查出来，然后再套一层排序。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
