MongoDB往Hive导数据

注：这里用Hive泛指数据仓库，数据还是存储在HDFS里。

想要从MongoDB往Hive导数据主要有两种方式

1. Hive直接连接MongoDB

Hive连接MongoDB这篇讲了怎么连接。

使用这种方式的好处在于，直接创建一个Hive的表，用于映射MongoDB里的数据。也就是数据仍然还在MongoDB内，创建映射表的时间非常短。

但是坏处也同样在这，如果要把数据ETL到Hive表，这种方式必须执行map reduce，一直从MongoDB里面取数据，连接的稳定性受到网络环境影响。

在用这种方式导数据的时候遇到过两个坑。

1. 执行map reduce耗时太长，这里一部分是网络原因，还有一部分是起了太多的map 任务，也就是将任务切分的过细，每个map只处理很少的任务，耗费太多资源，坑在于设置map数的参数不同于hive默认的参数。要在执行HQL前输入set mongo.input.split_size=n，这个n就是将mongo collection切分成若干份，每份的大小，单位是MB。默认的设置是8，将它改成128以后，mapper的数量明显减少了，总的执行时间也提高了。还有一种设置方法， 是修改hadoop的yarn-site.xml配置文件，添加

    <property>
     <name>mongo.input.split_size