大数据DataX（四）：MySQL导入到Hive

文章目录

MySQL导入到Hive

一、MysqlReader插件

二、HdfsWriter插件

三、案例实现

1、分别在mysql和hive中创建对应的表

2、编写DataX job配置文件

3、执行DataX任务，将mysql数据导入到HDFS

4、查询HDFS及Hive结果数据

---

MySQL导入到Hive

将MySQL的数据导入到Hive中使用到的“MysqlReader”和“hdfswriter”两个插件，先将mysql数据导入到HDFS中，创建Hive表映射对应的路径即可。下面分别介绍两种插件使用。

一、​​​​​​​MysqlReader插件

MysqlReader插件实现了从Mysql读取数据。在底层实现上，MysqlReader通过JDBC连接远程Mysql数据库，并执行相应的sql语句将数据从mysql库中SELECT出来。不同于其他关系型数据库，MysqlReader不支持FetchSize。简而言之，MysqlReader通过JDBC连接器连接到远程的Mysql数据库，并根据用户配置的信息生成查询SELECT SQL语句，然后发