kafka-spark-hive

1、场景介绍：数据发往kafka（500亿条每天），用spark读取kafka的数据，写入到hive表里面（ORC压缩算法，一个分区字段）

2、hive的介绍：hive表是分区表分区的字段是一个，想要使用动态分区，hive的压缩算法是ORC FILE

             使用spark的组件spark streaming 可以流式的读取kafka的数据，并且直接写入到HDFS上。首先说一下hive的分区表，由于是动态的分区表就不能够使用load这样的直接导入数据（load的数据只能静态的分区），再一个就是指定的压缩算法是ORC，不能够将数据直接的写入到hive表的文件里面，只能做load或者是insert的怎样的操作，进行导数据。