Impala简介------学习笔记

最新推荐文章于 2022-12-10 00:18:09 发布

PeixinYe

最新推荐文章于 2022-12-10 00:18:09 发布

阅读量750

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Hadoop 文章标签： Impala

本文链接：https://blog.youkuaiyun.com/PeixinYe/article/details/79587171

Impala是一个用于实时分析的系统，与Hive共享元数据、SQL语法和接口。它由Impalad、State Store和CLI组成，Impalad负责查询执行和协调，State Store收集资源信息，CLI提供查询接口。查询过程包括用户提交、解析、任务分配、执行和结果汇总。Impala适合实时交互，而Hive更适合批处理。两者在计算框架、内存管理和查询速度上有显著区别，但在数据存储和SQL处理上有共同点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Impala是由Cloudera公司开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase上的PB级大数据，在性能上比Hive高出3~30倍
Impala的运行需要依赖于Hive的元数据
Impala是参照 Dremel系统进行设计的
Impala采用了与商用并行关系数据库类似的分布式查询引擎，可以直接与HDFS和HBase进行交互查询

Impala和Hive采用相同的SQL语法、ODBC驱动程序和用户接口

注释：虚线框为自身组件，实线框为外部结构；

Impala主要由Impalad，State Store和CLI三部分组成：

Impalad：
负责协调客户端提交的查询的执行
包含Query Planner、Query Coordinator和Query Exec Engine三个模块
与HDFS的数据节点（HDFS DN）运行在同一节点上
给其他Impalad分配任务以及收集其他Impalad的执行结果进行汇总
Impalad也会执行其他Impalad给其分配的任务，主要就是对本地HDFS和HBase里的部分数据进行操作
State Store：
会创建一个statestored进程

负责收集分布在集群中各个Impalad进程的资源