HIVE 的数据存储

最新推荐文章于 2024-10-28 17:08:25 发布

转载最新推荐文章于 2024-10-28 17:08:25 发布 · 176 阅读

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/RUI-Z/p/8608528.html

文章标签：

HIVE 的数据存储：

　　1、hive中所有的数据都存储在HDFS中，没有专门的数据存储格式（可支持Text，SequenceFile，ParquetFile，RCFILE等））

　　2、只需要建表时告诉hive数据中的列分隔符和行分隔符，hive就可以解析数据。

　　3、hive中包含以下数据模型：DB、Table，External Table，Partition，Bucket。

- db：在hdfs中表示为${hive.metastore.warehouse.dir}目录下一个文件夹
- table：在hdfs中表现所属db目录下一个文件夹
- external table：外部表，与table类似，不过其数据存放位置可以在任意指定路径（普通表：删除表。hdfs中的文件也会删除，external外部表删除后，hdfs上文件还在，只是把文件删除，理解为快捷方式？）
- partition：在hdfs中表现为table目录下的子目录
- bucket 桶：在hdfs中表现为同一个表目录下根据hash散列之后的多个文件，会根据不同的文件把数据放到不同文件中。

转载于:https://www.cnblogs.com/RUI-Z/p/8608528.html