大数据计算引擎（四）—— Impala

 *重要工具Impala

介绍

Impala是Cloudera提供的⼀一款开源的针对HDFS和HBASE中的PB级别数据进⾏交互式实时查询的一个分布式，大规模并行处理(MPP)数据库引擎，它包括多个进程。最大卖点就是快。

Impala抛弃了了MapReduce 使⽤了类似于传统的MPP数据库技术，大大提⾼了查询的速度。

MPP (Massively Parallel Processing)，就是⼤大规模并行处理理，在MPP集群中，每个节点资源都是独⽴享有也就是有独⽴立的磁盘和内存，每个节点通过⽹网络互相连接，彼此协同计算，作为整体提供数据服务。

简单来说，MPP是将任务并⾏的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的 结果汇总在⼀一起得到最终的结果

对于MPP架构的软件来说聚合操作⽐比如计算某张表的总条数，则先进⾏局部聚合(每个节点并⾏计算)，然后把局部汇总结果进⾏行行全局聚合(与Hadoop相似)。

Impala与Hive对⽐

Impala的技术优势

• Impala没有采取MapReduce作为计算引擎，MR是⾮非常好的分布式并⾏行行计算框架，但MR引擎更更多的是⾯面向批处理理模式，⽽而不是面向交互式的SQL执行。与 Hive相⽐比：Impala把整个查询任务转为一棵执行计划树，而不是一连串的MR任务，在分发执行计划后，Impala使⽤拉取的方式获取上个阶段的执行结果，把结果数据、按执行树流式传递汇集，减少的了把中间结果写⼊入磁盘的步骤，再从磁盘读取数据的开销。Impala使用服务的方式避免每次执行查询都需要启动的开销，即相比Hive没了MR启动时间。
• 使用LLVM(C++编写的编译器器)产生运行代码，针对特定查询生成特定代码。
• 优秀的IO调度，Impala支持直接数据块读取和本地代码计算。
• 选择适合的数据存储格式可以得到最好的性能（Impala支持多种存储格式）。
• 尽可能使用内存，中间结果不写磁盘，及时通过网络以stream的⽅方式传递。

安装配置

Impala⻆角⾊色

• impala-server:这个进程是Impala真正⼯工作的进程，官⽅方建议把impala-server安装在datanode节点，更靠近数据（短路路读取）,进程名impalad
• impala-statestored:健康监控⻆角⾊色，主要监控impala-server,impala-server出现异常时告知给其它impala-server;进程名叫做statestored
• impala-catalogd :管理理和维护元数据(Hive),impala更更新操作；把impala-server更更新的元数据通知给其它impala-server,进程名catalogd

官⽅方建议statestore与catalog安装在同⼀一节点上！！

⭐⭐⭐HIVE要集群模式 开启Metastore 建议Matestore与impala-server在一个机子

linux3安装：

yum install impala -y

yum install impala-server -y

yum install impala-state-store -y

yum install impala-catalog -y

yum install impala-shell -y

linux1 linux2 安装

yum install impala-server -y

yum install impala-shell -y

linux3启动

nohup hive --service metastore &

linux1启动

nohup hive --service hiveserver2 &

短路路读取：就是Client与DataNode属于同⼀一节点，⽆无需再经过⽹网络传输数据，直接本地读取。

所有impala节点执行命令：

ln -s /opt/lxq/servers/hadoop-2.9.2/etc/hadoop/core-site.xml

/etc/impala/conf/core-site.xml

ln -s /opt/lxq/servers/hadoop-2.9.2/etc/hadoop/hdfs-site.xml

/etc/impala/conf/hdfs-site.xml

ln -s /opt/lxq/servers/hive-2.3.7/conf/hive-site.xml

/etc/impala/conf/hive-site.xml

所有节点修改：vim /etc/default/impala

<!--更更新如下内容 -->

IMPALA_CATALOG_SERVICE_HOST=linux123

IMPALA_STATE_STORE_HOST=linux123

MYSQL_CONNECTOR_JAR=/usr/share/java/mysql-connector-java.jar

所有节点创建：

# 所有节点创建节点，并建立软连接

mkdir -p /usr/share/java

ln -s /opt/lxq/servers/hive-2.3.7/lib/mysql-connector-java-5.1.46.jar

/usr/share/java/mysql-connector-java.jar

vim /etc/default/bigtop-utils

export JAVA_HOME=/opt/lxq/servers/jdk1.8.0_231

#linux123启动如下⻆角⾊色

service impala-state-store start

service impala-catalog start

service impala-server start

#其余节点启动如下⻆角⾊色

service impala-server start

ps -ef | grep impala

访问impalad的管理理界⾯面

http://linux123:25000/

访问statestored的管理理界⾯面

http://linux123:25010/

启动之后所有关于Impala的⽇日志默认都在/var/log/impala 这个路路径下，Linux123机器器上⾯面应该有三个进程，Linux121与Linux122机器器上⾯面只有⼀一个进程，如果进程个数不不对，去对应⽬目录下查看报错⽇日志.

Impala会附带安装一些其它东西，要删除

[root@linux122 conf]# which hadoop

/usr/bin/hadoop

[root@linux122 conf]# which hive

/usr/bin/hive

which命令 查找hadoop,hive等会发现，命令文件是/usr/bin/hadoop ⽽非我们自己安装的路

径，需要把这些删除掉,所有节点都要执⾏

[root@linux122 conf]# which hadoop

/usr/bin/hadoop

[root@linux122 conf]# which hive

/usr/bin/hive

rm -rf /usr/bin/hadoop

rm -rf /usr/bin/hdfs

rm -rf /usr/bin/hive

rm -rf /usr/bin/beeline

rm -rf /usr/bin/hiveserver2

#重新⽣生效环境变量量

source /etc/profile

进入impala命令： impala-shell

impala的操作流程更HIVE差不多，就不多重复写了

原理

查询原理

impalad

• 作⽤用，负责读写数据⽂文件，接收来⾃自Impala-shell，JDBC,ODBC等的查询请求，与集群其它Impalad分布式并行完成查询任务，并将查询结果返回给中心协调者。

• 角色名称为Impala Daemon,是在每个节点上运⾏行行的进程，是Impala的核⼼心组件，进程名是 Impalad;
• 为了保证Impalad进程了了解其它Impalad的健康状况，Impalad进程会一直与statestore保持通信。
• Impalad服务由三个模块组成：Query Planner、Query Coordinator和Query Executor，前两个 模块组成前端，负责接收SQL查询请求，解析SQL并转换成执⾏行行计划，交由后端执⾏行行，

statestored

• statestore监控集群中Impalad的健康状况，并将集群健康信息同步给Impalad,
• statestore进程名为statestored

catalogd

• Impala执行的SQL语句句引发元数据发⽣生变化时，catalog服务负责把这些元数据的变化同步给其它Impalad进程(⽇日志验证,监控statestore进程⽇日志)
• catalog服务对应进程名称是catalogd
• 由于⼀一个集群需要⼀一个catalogd以及⼀一个statestored进程，⽽而且catalogd进程所有请求都是经过statestored进程发送，所以官⽅方建议让statestored进程与catalogd进程安排同个节点。

1. Client提交任务

Client发送⼀一个SQL查询请求到任意⼀一个Impalad节点，会返回⼀一个queryId⽤用于之后的客户端操

作。

2. ⽣生成单机和分布式执⾏行行计划

SQL提交到Impalad节点之后，Analyser依次执⾏行行SQL的词法分析、语法分析、语义分析等操作；

从MySQL元数据库中获取元数据，从HDFS的名称节点中获取数据地址，以得到存储这个查询相关

数据的所有数据节点

单机执⾏行行计划： 根据上⼀一步对SQL语句句的分析，由Planner先⽣生成单机的执⾏行行计划，该执⾏行行计

划是有PlanNode组成的⼀一棵树，这个过程中也会执⾏行行⼀一些SQL优化，例例如Join顺序改变、谓

词下推等。

分布式并⾏行行物理理计划：将单机执⾏行行计划转换成分布式并⾏行行物理理执⾏行行计划，物理理执⾏行行计划由⼀一

个个的Fragment组成，Fragment之间有数据依赖关系，处理理过程中需要在原有的执⾏行行计划

之上加⼊入⼀一些ExchangeNode和DataStreamSink信息等。

Fragment ： sql⽣生成的分布式执⾏行行计划的⼀一个⼦子任务；

DataStreamSink：传输当前的Fragment输出数据到不不同的节点

3. 任务调度和分发

Coordinator将Fragment(⼦子任务)根据数据分区信息发配到不不同的Impalad节点上执⾏行行。Impalad

节点接收到执⾏行行Fragment请求交由Executor执⾏行行。

4. Fragment之间的数据依赖

每⼀一个Fragment的执⾏行行输出通过DataStreamSink发送到下⼀一个Fragment，Fragment运⾏行行过程中

不不断向coordinator节点汇报当前运⾏行行状态。

5. 结果汇总

查询的SQL通常情况下需要有⼀一个单独的Fragment⽤用于结果的汇总，它只在Coordinator节点运

⾏行行，将多个节点的最终执⾏行行结果汇总，转换成ResultSet信息。

6. 获取结果

客户端调⽤用获取ResultSet的接⼝口，读取查询结果。

优化

⽂文件格式

对于⼤大数据量量来说，Parquet⽂文件格式是最佳的

避免⼩小⽂文件

insert ... values 会产⽣生⼤大量量⼩小⽂文件，避免使⽤用

合理理分区粒度

利利⽤用分区可以在查询的时候忽略略掉⽆无⽤用数据，提⾼高查询效率，通常建议分区数量量在3万以下

(太多的分区也会造成元数据管理理的性能下降)

分区列列数据类型最好是整数类型

分区列列可以使⽤用string类型，因为分区列列的值最后都是作为HDFS⽬目录使⽤用，如果分区列列使⽤用

整数类型可以降低内存消耗

获取表的统计指标：在追求性能或者⼤大数据量量查询的时候，要先获取所需要的表的统计指标

(如:执⾏行行 compute stats )

减少传输客户端数据量量

聚合(如 count、sum、max 等)

过滤(如 WHERE )

limit限制返回条数

返回结果不不要使⽤用美化格式进⾏行行展示(在通过impala-shell展示结果时，添加这些可选参数: -

B、 --output_delimiter )

在执⾏行行之前使⽤用EXPLAIN来查看逻辑规划，分析执⾏行行逻辑

Impala join⾃自动的优化⼿手段就是通过使⽤用COMPUTE STATS来收集参与Join的每张表的统计信

息，然后由Impala根据表的⼤大⼩小、列列的唯⼀一值数⽬目等来⾃自动优化查询。为了了更更加精确地获取

每张表的统计信息，每次表的数据变更更时(如执⾏行行Insert,add partition,drop partition等)最好

都要执⾏行行⼀一遍COMPUTE STATS获取到准确的表统计信息。

感谢阅读！！！