sqoop系列：sqoop(离线数据同步)开发案例

目录

Apache Hadoop生态-目录汇总-持续更新

1：Mysql(RDBMS)与Hive/HDFS数据传输

1.1：列出MySQL数据有哪些数据库：

1.2：根据mysql表结构创建hive表

1.3: RDBMS导入到hdfs

（1）条件导入

（2）增量导入

（3）查询导入-常用

1.4：把mysql数据导入hive

1.5：把mysql数据导入hbase

2：导出数据

1：HIVE/HDFS到RDBMS

---

Apache Hadoop生态-目录汇总-持续更新

系统环境：centos7

Java环境：Java8

1：Mysql(RDBMS)与Hive/HDFS数据传输

1.1：列出MySQL数据有哪些数据库：

sqoop list-databases \
--connect jdbc:mysql://192.168.5.114:3306/ \
--username hive \
--password hive_pw

1.2：根据mysql表结构创建hive表

根据test库mac_website创建hive表
sqoop create-hive-table \
--connect jdbc:mysql://192.168.5.114:3306/test \
--username hive \
--password hive_pw \
--table test \
--hive-table db_hive.my_test

1.3: RDBMS导入到hdfs

 

--target-dir /user/company \ # 指定hdfs路径

--delete-target-dir \ 如果目标文件存在，会删除

--fields-terminated-by "\t" # 指定分隔符

--num-mappers 1MapTask个数, 默认4个(会生成4个文件)