Hive初识

Hive

• 由Facebook开源用于解决海量结构化日志的数据统计
• hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类似sql查询功能
• 构架在Hadoop上的数据仓库：
  • 使用hql作为查询接口
  • 使用HDFS存储
  • 使用mapreduce计算
    本质是将hql转化成mapreduce程序
• 灵活性和扩展性比较好
• 适合离线数据处理

架构图：

面试必问

HQL
| -----------------------Engine——>hive
MapReduce

RMDBS

• 表的概念;
  create table bf_log(
  ip string,
  user string,
  date string,
  …
  )
• 表的元数据——》Metastore
  • 包括：表名、表所属的数据库、表的拥有者、列、字段、表的类型、表数据所在的目录等等。

Driver驱动器——>将hql转换成mapreduce

• 解析器——》SQL Parser
• 优化器——》Query Optimizer
• 经过优化器形成物理的计划——》Physical Plan
• 最后按照物理计划执行——》Execution

优点

• 操作接口采用类sql语法，提供快速开发的能力
• 避免了写mapreduce，减少开发人员的学习成本
• 统一的元数据管理，可以和impala/spark等共享数据
• 易扩展，可以扩展集群规模，支持自定义函数

使用场景

• 数据的离线处理：比如：日志分析、海量结构化数据离线分析
• hive执行延迟比较高，适用于数据分析对实时性要求不高的场合
• 优势在于处理大数据