Sqoop导入命令

原创于 2023-07-17 14:34:34 发布 · 348 阅读

CC 4.0 BY-SA版权

文章标签：

文章介绍了两种方法将MySQL数据导入到Hive。直接导入使用了`sqoopimport`命令，指定了连接信息、表名和Hive库表。间接导入则利用查询语句选择特定数据，并进行了数据压缩。最后，通过`loaddata`命令将数据加载到Hive表中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

MySQL导入Hive

直接导入

bin/sqoop import \
 --connect jdbc:mysql://127.0.0.1:3306/yqzb \
 --username root \
 --password root \
 --table jxjkm_jcx \
 --fields-terminated-by '\001' \
 --delete-target-dir \
 --num-mappers 1 \
 --hive-import \
 --hive-database test \
 --hive-table jxjkm_jcx

间接导入

bin/sqoop import \
 --connect jdbc:mysql://127.0.0.1:3306/test \
 --username root \
 --password root123 \
 --query 'select id, username,password from user_info where $CONDITIONS' \
 --target-dir /data/test/user_info \ # HDFS的地址
 --delete-target-dir \  # 如果存在则删除
 --num-mappers 1 \ 
 --split-by  id \
 --compress \ # 启动压缩
 --compression-codec org.apache.hadoop.io.compress.SnappyCodec \
 --hive-drop-import-delims \ # 去除\n, \r, and \01，但是实际运用有问题
 --direct \
 --fields-terminated-by '\001' \
 --lines-terminated-by '\n'

Load操作

load data inpath '/data/test/user_info' into table user_test.user_info ;