大数据技术基础知识总结七

• Hive
  • 介绍
    • Hive 就是一个数据仓库，仓库中的数据都是在 HDFS中管理的数据文件
    • Hive 支持类似 SQL 语句的功能，你可以通过这些语句来进行数据分析，Hive 会把这些语句转换成可执行的 MapReduce 代码，然后进行计算
  • 基本体系架构

    • 

    • UI（用户界面）
      • 负责与使用者的交互，我们通过 UI 向系统提交查询和其他操作
    • 驱动器（Driver）
      • 驱动器在接收 HiveQL 语句之后，创建会话来启动语句的执行，并监控执行的生命周期和进度
      • 既负责与编译器的交互，又负责与执行引擎的交互
    • 编译器（Compiler）
      • 编译器接收驱动器传来的 HiveQL，并从元数据仓中获取所需要的元数据，然后对 HiveQL 语句进行编译，将其转化为可执行的计划
    • 执行引擎（Execution Engine）
      • 执行器将执行任务。它对 Hadoop 的作业进行跟踪和交互，调度需要运行的任务。
    • 元数据仓（Metastore）
      • 元数据指的是我们构建的 Hive 表的表名、表字段、表结构、分区、类型、存储路径等等
      • 元数据通常存储在传统的关系型数据库中，比如 MySQL
  • Hive 的优点
    • 简单易上手
    • Hive 提供统一的元数据管理
    • 可扩展性好
    • 支持自定义函数（UDF）
  • Hive 的缺点
    • 速度较慢
      • Hive 的底层数据仍然是存储在 HDFS 上的，所以速度比较慢，只适合离线查询
    • 不支持单条数据操作
      • 不能任意修改 HDFS 里的数据，所以 Hive 也不行，要想修改数据只能整个文件进行替换。
• HBase
  • 介绍
    • NoSQL 数据库
    • HBase 只是利用 Hadoop 的 HDFS 帮助其管理数据的持久化文件
    • HBase 提供实时处理数据的能力
  • HBase 的表结构

    • 

    • 行键（Row Key）
      • 行数据的唯一标识
    • 列簇（Column Family）
      • 看作是一组列，实际上一个列簇的作用也是用来管理若干个列，优化查询速度
      • 列簇的名字要尽量短，同时对于经常需要一起查询的列放在一个列簇下面
      • 列簇需要预先定义，而列不需要，如果要新增列簇就要先停用这个表
    • 单元（Cell）
      • 指的是一个确定的存储单元。通过 Row Key、列簇 、列名以及版本号来确定。
    • 时间戳（Timestamp）
      • 用来标记前面说的一份数据的不同版本。
    • 区域（Region）
      • 一个 Region 可以看作是多行数据的集合
  • HBase 的优缺点
    • 实时计算
    • 容量大性能高
    • 列存储，无须设定表结构
    • HBase 不能支持条件查询，也不能用 SQL 语句进行查询。在使用的时候，一般只能使用Row Key 来进行查询。
  • HBase 与 Hive 的使用
    • HBase 支持实时随机查询的特性，主要使用 HBase 进行大量的明细数据的随机实时查询
    • Hive 本身并不解决存储的问题，它只是把 HDFS 中的结构化数据进行了展示，而最核心的功能是实现了对这些结构化文件的查询