Hive 架构原理 运行机制

Hive通过用户接口如CLI、JDBC/ODBC、WEBUI接收SQL指令,利用Driver和元数据(MetaStore)将指令转化为MapReduce任务在Hadoop上执行。元数据包含表信息,如名称、数据库、所有者等。推荐使用MySQL存储元数据。Hive的运行涉及到HDFS存储和MapReduce计算。Driver包含解析器、编译器、优化器和执行器,确保SQL语句的正确解析和高效执行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 

Hive 架构图

 

如图中所示,Hive通过给用户提供的一系列交互接口,接收到用户的指令(SQL),使用自己的Driver,结合元数据(MetaStore),将这些指令翻译成MapReduce,提交到Hadoop中执行,最后,将执行返回的结果输出到用户交互接口。

 

1.用户接口:Client

  • CLI(command-line interface)、JDBC/ODBC(jdbc访问hive)、WEBUI(浏览器访问hive)

2.元数据:Metastore

  • 元数据包括:表名、表所属的数据库(默认是default)、表的拥有者、列/分区字段、表的类型(是否是外部表)、表的数据所在目录等。
  • 默认存储在自带的derby数据库中,推荐使用MySQL存储Metastore。

3.Hadoop

  • 使用HDFS进行存储,使用MapReduce进行计算。

4.驱动器&

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值