LLDDDS的博客

Hive分桶分桶是将数据分解成更容易管理的若干部分的一个技术,比分区有着更为细粒度的数据范围划分.为什么要进行分桶呢?1**. 利用分桶表,我们能获得更高效的查询处理效率.**当分区数量过于庞大以至于可能导致文件系统崩溃时,或者我们找不到合理的分区字段时,可以考虑使用分桶表来解决问题.同时,分区与分桶并不冲突,可以对分区后的数据进一步进行分桶.分区针对的是对文件的存储路径进行划分,进而分成一个个不同的文件夹,这样的数据是容易造成数据倾斜的.而分桶的原理是按照哈希值对数据打散，并分发到各个不同的桶中

Error while processing statement: FAILED:Execution Error,return code 137 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask优化方法有一下几种:一:是调大内存(Yarn和MR)二:是开启有序动态分区，三:是关闭mapjoin四:是分批执行计算五:是使用本地模式关闭mapjoin：set hive.auto.convert.join=false;开启本地模式：se