实时查询引擎 - Cloudera Impala 介绍与应用

最新推荐文章于 2024-03-23 21:37:15 发布

原创

最新推荐文章于 2024-03-23 21:37:15 发布 · 6.8k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #cloudera #impala

Cloudera Impala是一款实时查询系统，与Hive共享数据，提供SQL接口，实现高并发查询。它无主节点，结构简单，支持多种文件格式和SQL语法。Impala通过Impalad、Statestore和Catalog服务构成，允许通过多种接口进行查询，如命令行、JDBC/ODBC及HUE。安装在CDH中非常便捷，但对内存需求较高，新版本引入了Spill to disk功能。

1. Impala 是什么

Impala是我使用最多，也是使用非常广泛的实时查询系统。相较于之前介绍的HAWQ, Presto 以及 Drill 等，已经可以找到很多它的相关资料。它同样是基于Hadoop的以SQL语言接口，并提供实时的，高并发的查询MPP类查询引擎。即然是提供实时的查询，那么它的运算方式肯定不能基于MapReduce，Impala将所有的中间结果数据都放在内存中。实际上在新版本的Impala中，已经支持Spill to disk特性，只是使用场景还非常有限。
另一个Impala的最大特点是与HIVE共用同一份数据字典和表数据，也就是Impala可以直接查询Hive的数据，且在其中一个组件中新建的表或加载的数据，在另一个组件中立即可以查询。我认为这个特性是非常有用的。即针对大部分数据可以采用Impala完成实时的查询分析，而针对部分海量的，分析过程中内存不能容纳的基础数据，可以采用HIVE进行分析后，对结果使用Impala进行二次分析或实时查询进行及时的呈现。
既然要跟Hive一起玩，那么Impala必须支持HIVE所支持的文件格式，包括：Parquet，Text，OCR，SequenceFile等。同时在SQL兼容上，也与HIVESQL大部分兼容（实际上作为标准SQL所用到的SELECT,GROUP,JOIN，OVER等基本都差不多）。

2. Impala 结构

Impala的结构非常简单明了，它是一个无主节点的分布式系统，典型的部署方式同样是每一台DataNode上部署一个Cloudera Impala服务，即Impalad进程。看图：
Impala结构

Impalad: 即部署在每一台DataNode上的Cloudera Impala服务。它包含接受连接，处理用户提交SQL，结果返回，查询分析，任务分发与协调的功能等。用户可以连接到集群中的任意一台Impala节点上进行查询。每个Impalad里都包含了三部分：Query planner, Query Coordinator, Query Exec engine. 这也就是为什么它为什么是无主节点且可以任意连接的。
Statestore：用于检查所有Impalad节点的状态及其监控。简言之，就是通过心跳信息确定哪些Impalad节点还在，将告诉每一个Impala