掌握hive数据存储模型

1、hive存储格式

Hive 常用的存储格式包括以下 4 种：TEXTFILE、SEQUENCEFILE、RCFILORCFILE.

1.1TEXTFILE
常见的 txt、csv、tsv 等文件都属于 TEXTFILE。Hive 默认存储格式为 TEXTFILE，即创建表时如果不单独指定存储格式，则认为存储格式为 TEXTFILE。存储格式为按行存储，内容为普通的文本格式，一般可以使用 cat 命令直接查看。TEXTFILE 格式的数据文件无须任何处理即可导入Hive，文件每一行为一条记录，记录可用任意分隔符进行列分割，记录之间须以行结束符分割。Hive 将 TEXTFILE 映射为表的过程中，将会逐个字符地判断是否为列分隔符或行分隔符。
TEXTFILE 支持使用 Gzip 压缩，但Gzip 压缩后的文件将不再支持 MapReduce 分割机制，这意味着压缩后的文件不论有多少个 HDFS 块都只能被一个 Map 任务处理，即失去了使用集群并行处理的优势。
1.2. SEQUENCEFILE

SEQUENCEFILE 是Hadoop 提供的一种由“二进制序列化过的 Key/Value 字节流”组成的文本存储文件格式。其由于内容为二进制字节，所以无法通过 cat 命令查看原始字符，这可以抽象地理解为，在 SEQUENCBFILE 中每条记录均以键值对的方式进行存储，仅支持追加。与TEXTPILE 类似，SEQUENCEFILE 同样按行存储。
Hive 无法直接导入SEQUENCBPILE格式的数据文件。数据须首先导入至 TEXTFILE格式的表中，然后再从 TEXTFILE 格式的表中采用插入方式导入至 SEQUENCEFILE 格式的表。
SEQUENCEFILE 是可分割的文件格式，支持3种压缩选项。
（1） NONE：不压缩。

（2） RECORD（默认选项）：记录级压缩，压缩率低。
（3）块级压缩，压缩率高。

1.3. RCFILE

RCFILE （Record-Columnar File）是Facebook开发的一种专门面向列的数据存储格式，不同于 TEXTFILE 和 SEQUENCEFILE,RCFILE 是基于行列混合存储思想的设计。
RCFILE 遵循“先水平划分，再垂直划分”的设计理念：首先把 Hive 表水平切分成多个行组，保证同一行的数据位于同一节点，其次在行组内按照“列”垂直切分，实现列与列的数据在磁盘上呈现为连续的存储块。使用 RCFILE 的优势是既保证了每条记录所有列在同一个 HDFS块，也可以做到当查询仅针对表中的少数几列时，可跳过不必要的列进行数据读取。RCFILE 存储格式如图1.4所示。RCFILE （Record-Columnar File）是Facebook开发的一种专门面向列的数据存储格式，不同于 TEXTFILE 和 SEQUENCEFILE,RCFILE 是基于行列混合存储思想的设计。

RCFILE 遵循“先水平划分，再垂直划分”的设计理念：首先把 Hive 表水平切分成多个行组，保证同一行的数据位于同一节点，其次在行组内按照“列”垂直切分，实现列与列的数据在磁盘上呈现为连续的存储块。使用 RCFILE 的优势是既保证了每条记录所有列在同一个 HDFS块，也可以做到当查询仅针对表中的少数几列时，可跳过不必要的列进行数据读取。

2、hive数据单元

Hive 所有真实数据都存储在 HDFS 中，这样更有利于对数据做分布
Hive 存储
格式
式计算。为了有效地对真实数据进行管理，根据粒度大小，Hive 将真实数据划分为如下数据单元。
2.1. 数据库
数据库（Databases）类似于 RDBMS 中的数据库，在 HDFS 中表现为 hive, metastore.
warehouse.dir 目录下的一个文件夹，其本质是用于避免表、视图、分区、列等命名冲突的命名空间。
2.2. 表
表（Tables）由列构成，在表上可以进行过滤、映射、连接和联合操作。表在 HDFS中表现为所属数据库目录下的子目录，具体又分内部表和外部表。内部表类似于 RDBMS中的表，由Hive 管理。外部表指向已经存在 HDFS 中的数据，与内部表元数据组织是相同的，但其数据存放位置是任意的。外部表的真实数据不被 Hive 管理，即当删除一张内部表时，元数据以及 HDFS上的真实数据均被删除，而删除外部表则只会删除元数据而不会删除真实数据。
2.3. 分区
每个表都可以按指定的键分为多个分区（Partitions）。分区的作用是提高查询的效率，其在HDFS中表现为表目录下的子目录。
2.4. 分桶
根据表中某一列的哈希值可将数据划分为多个分桶（Buckets），在HDFS 中分桶表现同一个目录下根据哈希散列之后的多个文件。
可以看到，Hive 中的数据单元划分与 RDBMS的物理模型非常类似。但在Hive 数据单元划分过程中还必须注意以下几点。
> Hive 表没有主键。
> Hive表（0.14 版本前）不支持行级操作，新版本中行级操作效率也比较低。
Hive 表不支持批量 update 操作，但可以先删除、再添加。
Hive 分区和分桶可以极大提升数据查询效率。
3、hive存储模型