用sqoop从Mysql多表/单表导入hdfs命令

关注

VIP免费原创最新推荐文章于 2026-05-18 06:23:47 发布 5.2k 阅读 AI 写同款· GEO 优化 ›

Sqoop1.4.4实现关系型数据库多表同时导入HDFS或Hive中问题导读： 1、使用Sqoop哪个工具实现多表导入？ 2、满足多表导入的三个条件是？ 3、如何指定导入HDFS某个目录？如何指定导入Hive某个数据库？一、介绍有时候我们需要将关系型数据库中多个表一起导入到HDFS或者Hive中，这个时候可以使用Sqoop的另一个工具sqoop-import-all-tables。阅读详情

一、 sqoop命令从Mysql单表导入hdfs命令

bin/sqoop import \
--connect jdbc:mysql://10.160.000.117:3306/big_data \
--m 1 \
--username mysql \
--password minmin@123 \
--table t_fgw_qt_lhszzxx \
--target-dir  /big/PHJR/phjr_data/t_big_qt_lhszzxx \
--as-textfile \
--fields-terminated-by "," \
--lines-terminated-by "\n"  \
--compression-codec com.hadoop.compression.lzo.LzopCodec \
--autoreset-to-one-mapper \
--outdir /opt/sqoop_phjr

       --compression-codec com.hadoop.compression.lzo.LzopCodec     使用lzo压缩
       --autoreset-to-one-mapper     没有主键则是以一个map
       --outdir /opt/sqoop_phjr      自定义映射的java文件位置

二、 sqoop命令从Mysql多表全量导入hdfs命令

用sqoop导入mysql
sqoop-import-all-tables \
--connect jdbc:mysql://10.100.000.117:3306/big_data \
--username mysql \
--password Admin@124 \
--as-textfile \
--warehouse-dir /smxaq/big/big_data/  \
--m 6 \
--fields-terminated-by "," \
--