一个数据小开发的博客

1、前言 上一篇 Impala SQL on Kudu优化谈到了如何从执行计划的角度来优化查询SQL，感兴趣的同学可以去回看关注下（Impala SQL on Kudu优化（一）_一个数据小开发的博客-优快云博客），本篇优化将主要从建表层面来谈谈优化。2、概念&理念...

错误如下：2021-02-01 17:11:13 ERROR TaskSetManager:73 - Task 0 in stage 4.0 failed 1 times; aborting job2021-02-01 17:11:13 INFO TaskSchedulerImpl:57 - Removed TaskSet 4.0, whose tasks have all completed, from pool 2021-02-01 17:11:13 INFO TaskSchedulerI

一、Impala sql 的计算方式是啥？在使用Impala进行SQL查询的时候，我们经常会使用join来关联多个表进行查询，获取想要的结果。对于表的数量达到千万甚至上亿的时候，不同的join方式所造成的执行速度，可能差距非常大。Impala提供了两种Join算法－shuffle和broadcast。二、主要Join方式1.broadcast join适合大表与小表的join，将大表划分成多块，小表广播与这些块进行hash join。2.shuffler hash join适合大表与