[Hive]hive分区设置注意事项

1、分区不宜过多
创建分区可以让Hive不必对输入进行全盘扫描，确实可以优化查询。但是使用过多分区会带来两方面的问题：
（1）HDFS设计用于存储数百万的大文件，而不是数十亿的小文件。使用过多分区会创建大量的非必须的hadoop文件和文件夹。一个分区对应一个包含多个文件的文件夹。如果指定的表存在数百个分区，则可能每天都会创建好几万个文件。
（2）MapReduce会将一个任务（job）转化成多个任务（task）。默认情况下每个task都是一个JVM实例，都需要开启和销毁。对于小文件，每个文件都会对应一个task。在一些情况下，JVM开启和销毁的时间可能会比实际处理数据的时间要长。
2、理想的分区方案不应该产生太多的分区和文件夹目录，并且每个目录下的文件应该足够大，应该是文件系统中块的若干倍。
3、如果用户不能够找到好的、大小相对合适的分区方式的话，那么可以考虑使用分桶存储