hive简介

一、简介

odps是阿里自研的数据仓库，用于批量结构化数据处理和计算，类似hive的设计结构。

 

二、hive的结构

hive没有索引，存在暴力查询；由于其执行通过mapreduce可以并行处理。

 

hive将元数据存储在数据库中，数据存储在hdfs中。

 

hive的表分为内部表与外部表，不特殊指出创建的表为内部表。

 

内部表相当于一个hdfs中的一个文件夹，在配置文件hive-site.xml中可以设置这个文件夹所处的路径，该表的所有数据都放在该目录中。

外部表的数据不是放该路径中，而存放在Location后的hdfs目录中，在删除外部表时仅删除其元数据，真正数据被保留。

 

分区为表下的子文件夹，每个分区的数据存储在分区的文件夹中。

 

bucket根据hash切分，存储在一个文件中，目的是为了并行运算，类似于spark的rdd分区。