hive架构的个人想法

Hive基于Hadoop上的HDFS和MapReduce，提供了一个类SQL语言的数据仓库方案。

Hive的设计目标

• 解决关系型数据库的计算时间的瓶颈
• 解决MR编程模型和接口偏“底层”的问题

Hive架构

Hive架构主要分为三个部分。

第一部分： 对外接口

• Hive支持命令行、web界面、以及jdbc和odbc驱动
• jdbc和odbc驱动是通过Hive提供的Thrift Service, 来和hive进行通信
• 这些接口将外部提交的HQL， 交给了Hive的核心模块，也就是驱动器

第二部分： 驱动器

驱动器又包含：编译器、优化器，执行引擎和DAG（有向无环图）

1. 编译器

编译器会把HQL编译成一个逻辑计划，也就是解析sql。

2. 优化器

优化器拿到逻辑计划后，根据MapReduce任务的特点进行优化。变成一个物理计划。

比如多表join操作的时候，一个join会生成一个MR任务，但是如果key相同，优化器会自动优化为一个MR任务。

3. 执行引擎和DAG

上一步生成的物理计划，会通过一个执行引擎，比如Hadoop的MR，来按照顺序执行。

第三部分： Metastore

• Metastore用来存储Hive里的各种数据，包括表的名称、位置、列的名称、类型以及分区等信息。
• Metastore，通常习惯用中心化的关系型数据库，比如Mysql进行存储
• 驱动器里的各个模块，也需要通过metastore里面的数据，来确定解析HQL的时候，字段是否合法。以及确认最终执行计划的时候，从哪些目录读取数据。