大数据之hive（一）

一、hive简介

1. Hive是什么？

• hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
• 它所有的数据都存储在hadoop兼容的文件系统中。hive在加载数据过程不会对数据进行任何修改，只是将数据移动到hdfs中hive设定的目录下，不支持改写和添加
• 可以处理不同的存储类型（纯文本、hbase文件）
• hive本质将HQL转化为MapReduce程序，hive处理的数据存储在hdfs，hive分析数据底层的实现是MapReduce，执行程序运行在YARN上。

2. hive的优缺点

（1）优点：

• 操作接口采用类SQL语法，提供快速开发的能力
• 避免写MapReduce，减少开发人员学习成本
• 处理大数据，延迟性高，适合对实时性要求不高的数据分析
• hive支持用户自定义函数，用户可以根据自己的需求实现自己的函数

（2）缺点：

• HQL表达能力有限，迭代式算法无法表达，数据挖掘方面不擅长
• 效率低，hive自动生成的MapReduce作业，通常不够智能，调优困难

3. hive架构原理

Hive通过给用户提供的一系列交互接口,接收到用户的指令(SQL),使用自己的Driver,结合元数据(MetaStore),将这些指令翻译成MapReduce,提交到Hadoop中执行,最后,将执行返回的结果输出到用户交互接口

• 用户接口：CLI（hive shell）、JDBC/ODBC(java访问hive)、WEBUI(浏览器访问hive)
• 元数据-Metastore：包括表名、表所属的数据库、表的拥有者、列/分区字段、表的类型（是否外部表）、表的数据所在目录等
  默认存储在自带的derby数据库中，推荐使用mysql存储metastore
• hadoop：使用hdfs存储、MapReduce计算
• 驱动器-Driver：
  • 1）解析器（SQL Parser）：将SQL字符串转换成抽象语法树AST（第三方工具完成），解析器对AST进行语法分析
  • 2）编译器（Physical Plan）：将AST编译生成逻辑执行计划
  • 3）优化器（Query Optimizer）：对逻辑执行计划进行优化
  • 4）执行器（Execution）：把逻辑执行计划转换成可以运行的物理计划，即MR/Spark