Hive Bug

2019独角兽企业重金招聘Python工程师标准>>>

基于0.14

1. left join 时候左边表使用join列的谓词过滤

BUG语句

1. explain  
2. select t.cookie,t.datetime,c.cookie  
3.   from log t  
4.   left join cookie c  
5.     on t.cookie = c.cookie  
6.  where t.dt = '2015_01_01_10'  
7.    and t.cookie  = 'xxxxx' 

问题原因：
查看执行计划：

1. Stage: Stage-1  
2.     Map Reduce  
3.       Map Operator Tree:  
4.           TableScan  
5.             alias: t  
6.             Statistics: Num rows: 782692 Data size: 97053857 Basic stats: COMPLETE Column stats: NONE  
7.             Filter Operator  
8.               predicate: (cookie = 'xxxxx') (type: boolean)  
9.               Statistics: Num rows: 391346 Data size: 48526928 Basic stats: COMPLETE Column stats: NONE  
10.               Reduce Output Operator  
11.                 key expressions: 'xxxxx' (type: string)  
12.                 sort order: +  
13.                 Statistics: Num rows: 391346 Data size: 48526928 Basic stats: COMPLETE Column stats: NONE  
14.                 value expressions: datetime (type: string)  
15.           TableScan  
16.             alias: c  
17.             Statistics: Num rows: 26938739 Data size: 1728178442 Basic stats: COMPLETE Column stats: NONE  
18.             Filter Operator  
19.               predicate: (cookie = 'xxxxx') (type: boolean)  
20.               Statistics: Num rows: 13469369 Data size: 864089188 Basic stats: COMPLETE Column stats: NONE  
21.               Reduce Output Operator  
22.                 key expressions: cookie (type: string)  
23.                 sort order: +  
24.                 Map-reduce partition columns: cookie (type: string)  
25.                 Statistics: Num rows: 13469369 Data size: 864089188 Basic stats: COMPLETE Column stats: NONE  
26.       Reduce Operator Tree:  

执行计划如上，其中t表在map端的reduce时候partition columns丢失，导致相同的cookie无法和c表分发到同一个reduce上。

测试：

1、将reduce数量设置为1：
结果发现join操作正确

2、改写sql,将t.cookie = 'xxxx' 改为in操作

查看执行计划发现t表在map端的reduce时候partition columns正常，sql也执行正常。

转载于:https://my.oschina.net/CostBasedOptimizatio/blog/364049