大数据计算引擎（四）—— Impala

 *重要工具Impala

介绍

Impala是Cloudera提供的⼀一款开源的针对HDFS和HBASE中的PB级别数据进⾏交互式实时查询的一个分布式，大规模并行处理(MPP)数据库引擎，它包括多个进程。最大卖点就是快。

Impala抛弃了了MapReduce 使⽤了类似于传统的MPP数据库技术，大大提⾼了查询的速度。

MPP (Massively Parallel Processing)，就是⼤大规模并行处理理，在MPP集群中，每个节点资源都是独⽴享有也就是有独⽴立的磁盘和内存，每个节点通过⽹网络互相连接，彼此协同计算，作为整体提供数据服务。

简单来说，MPP是将任务并⾏的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的 结果汇总在⼀一起得到最终的结果

对于MPP架构的软件来说聚合操作⽐比如计算某张表的总条数，则先进⾏局部聚合(每个节点并⾏计算)，然后把局部汇总结果进⾏行行全局聚合(与Hadoop相似)。

Impala与Hive对⽐

Impala的技术优势

• Impala没有采取MapReduce作为计算引擎，MR是⾮非常好的分布式并⾏行行计算框架，但MR引擎更更多的是⾯面向批处理理模式，⽽而不是面向交互式的SQL执行。与 Hive相⽐比：Impala把整个查询任务转为一棵执行计划树，而不是一连串的MR任务，在分发执行计划后，Impala使⽤拉取的方式获取上个阶段的执行结果，把结果数据、按执行树流式传递汇集，减少的了把中间结果写⼊入磁盘的步骤，再从磁盘读取数据的开销。Impala使用服务的方式避免每次执行查询都需要启动的开销，即相比Hive没了MR启动时间。
• 使用LLVM(C++编写的编译器器)产生运行代码，针对特定查询生成特定代码。
• 优秀的IO调度，Impala支持直接数据块读取和本地代码计算。
• 选择适合的数据存储格式可以得到最好的性能（Impala支持多种存储格式）。
• 尽可能使用内存，中间结果不写磁盘，及时通过网络以stream的⽅方式传递。

安装配置

Impala⻆角⾊色

• impala-server:这个进程是Impala真正⼯工作的进程，官⽅方建议把impala-server安装在datanode节点，更靠近数据（短路路读取）,进程名impalad
• impala-statestored:健康监控⻆角⾊色，主要监控impala-server,impala-server出现异常时告知给其它impala-server;进程名叫做statestored
• impala-catalogd :管理理和维护元数据(Hive),impala更更新操作；把impala-server更更新的元数据通知给其它impala-server,进程名catalogd

官⽅方建