Impala：大数据查询加速器
超级会员免费看
Impala是一款由Cloudera开发的查询系统，提供快速的SQL查询能力，尤其对比Hive表现出更高的性能。它无需MapReduce，直接通过内存计算减少I/O开销，并支持多种数据格式和存储系统。然而，其容错性和成熟度相对Hive较低。对比Phoenix，Impala功能更全面，支持更多数据源，但在HBase查询上可能不及Phoenix。
应用场景
在使用Hive的过程中，编写了HQL语句，发现HQL执行过程是非常慢的，因为hive采用的是把HQL转化成hadoop的MapReduce任务，然后编译，打包成jar包，分发到各个server上去执行，这个过程会很慢很慢！而impala也可以执行SQL，但是比Hive快很多，而Impala根本不用Hadoop的Mapreduce机制，直接调用HDFS的API获取文件，在内存中快速计算！
但是Impala也并不是完全比Hive好。Impala的容错机制没有Hive好，而且没有Hive那么成熟。
-
所以一般使用以下方法来决定使用哪个：
-
如果是ETL任务使用Hive
如果是实时的热查询则用Impala
1. Impala介绍
Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。
订阅专栏 解锁全文
扫一扫
2133
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
