hadoop优化1 TODO

 

0 一些想说的说说:

 

a) 优化时, 把hive sql当成map reduce程序来读,会有意想不到的惊喜

b) 理解Hadoop的核心能力是优化hive的根本

c) 根据具体跑的数据在集群中不断调节参数 最终发挥集群最大威力,这是一个长期过程,

    公司一个同事断断续续用1年时间不断调节cdh参数。

c) 任务不怕数据量多,怕的是数据倾斜，在mr hive hbase中都要尽量避免倾斜，使用集群也是不断调节集群各子生态参数和优化数据分布避免倾斜的两个过程。