Hive任务优化基础

1.少用count(distinct);

  select count(distinct cookie_id) from lxw_t1;
  性能差的原因：只会用一个reduce去处理;
  优化的写法：select count(1) from (select cookie_id from lxw_t1 group by cookie_id) x;
  配合set mapred.reduce.tasks会取得更好的效果;
  
2.表关联时，过滤条件写在合适的位置;

  select a.id,b.name
  from   lxw_t1 a
  left outer join lxw_t2
  on a.id = b.id
  where a.pt = '2012-11-22';
  性能差的原因：这样写会导致先关联，后过滤
  
  正确的写法：
  select a.id,b.name
  from   lxw_t1 a
  left outer join lxw_t2
  on (a.id = b.id and a.pt = '2012-11-22');
  
3.防止数据倾斜;

  关于数据倾斜，网上一搜一大片;
  现象：任务进度(reduce)长时间处于99%或者100%
  原因：因为特殊值或者业务本身特点，使得分配到一个reduce节点上的key数据量非常大。
  解决办法：
     a)参数调节: SET hive.groupby.skewindata=TRUE;
     b)存在大量空值或者null或者特殊值时候，可以先过滤，在最后结果+1即可;
            SELECT CAST(COUNT(DISTINCT imei)+1 AS bigint)
            FROM woa_all_user_info_his where pt = '2012-05-28'
            AND imei <> '' AND imei IS NOT NULL;
    c)多重count DISTINCT;
            union all + rownumber + sum group by
            
4.防止笛卡尔积;
    这个相信大家都懂;
   
5.合理使用mapjoin

    主要针对一个很小的表和很大的表join
    Select /*+ mapjoin(tablelist) */ , tablelist中的表会读入内存，然后分发到所有的reduce端
    相关参数：hive.mapjoin.cache.numrows=25000
    hive.mapjoin.smalltable.filesize=25000000
    另外：大数据的mapjoin可参考Bucket Map Join
   
6.合理使用union all和multi insert

  对同一张表的union all 要比多重insert快的多，
  原因是hive本身对这种union all做过优化，即只扫描一次源表;
  
  select type,popt_id,login_date
           FROM (
            select 'm3_login' as type,popt_id,login_date  
            from lxw_test3
            where login_date>='2012-02-01' and login_date<'2012-05-01'
            union all
            select 'mn_login' as type,popt_id,login_date
            from lxw_test3
            where login_date>='2012-05-01' and login_date<='2012-05-09'
                       union all
            ......
    ) x;
   
    而多重insert也只扫描一次，但应为要insert到多个分区，所以做了很多其他的事情，导致消耗的时间非常长；
   
    from lxw_test3
    insert overwrite table lxw_test6 partition (flag = '1')
    select 'm3_login' as type,popt_id,login_date  
    where login_date>='2012-02-01' and login_date<'2012-05-01'
    insert overwrite table lxw_test6 partition (flag = '2')
    select 'mn_login' as type,popt_id,login_date
    where login_date>='2012-05-01' and login_date<='2012-05-09'
    insert overwrite table lxw_test6 partition (flag = '3')
    select 'm3_g_login' as type,popt_id,login_date
    where login_date>='2012-02-01' and login_date<'2012-05-01' and apptypeid='1'
   
7.合理使用动态分区

    SET hive.exec.dynamic.partition=true;
  SET hive.exec.dynamic.partition.mode=nonstrict;
   
  create table lxw_test1 (
    sndaid string,
    mobile string
    ) partitioned by (pt STRING)
    stored as rcfile;
   
    insert overwrite table lxw_test1 partition (pt)
    select sndaid,mobile,pt from woa_user_info_mes_tmp1 limit 10;
   

    注意：动态分区字段pt要放在select的最后一个位置