sqoop mysql导入hdfs 需要注意的点

关注

原创最新推荐文章于 2026-03-03 15:46:02 发布 522 阅读 AI 写同款· GEO 优化 ›

Sqoop将MySQL数据导入HDFS 如果使用了m 1 ,也就是说我的map只有一个，只有一个，就意味着不需要分割为4份了，所以也就不需要指定分割字段是什么了。，但是一定要注意的是 SQL语句中必须添加 $CONDITIONS ，而这个字段，必须跟split-by 一起使用，才行。如果你使用--query 编写了一个SQL语句，表名，列名，where条件都不需要写了，因为都在SQL语句中了。3、指定split-by的时候，查询结果必须包含这个列，否则报：无法识别的列。--username 你的用户名 \。--password 你的密码 \。阅读详情

1、可有可无的配置

2、sqoop导入需要指定一个字段为分割字段，select max(id),min(id) from test 然后根据指定的并行度（默认是4）进行分割，如果这个字段不是数字类型需要加上一句话

3、mysql中null值的处理，如果mysql中是null，在导入到hdfs的时候，sqoop会把null值字段，变成null字符串导入，

这样会有问题，比如我把这些数据再导入到hive，那么hive就会把null字符串，真的导成null字符了，原来mysql的null值列，在hive中 is null 查询就查不到了

解决方式：文件都是字符串，那么hive会把什么识别为null呢？ --------------> '\N' 因此导入hdfs的时候，需要指定一下null值转换策略

--null-string '\\N' // 记得转译一下\

--null-non-string '\\N' 加上这两个

标准语法

sqoop import \
--connect jdbc:mysql://dream1:3306/bigdata \
--username root \
--password root \
--table test \
--target-dir /sqoop/test/ \
--fields-terminated-by ',' \
--delete-target-dir \
--split-by id \
--null-string '\\N' \
--null-non-string '\\N' \
-m 2

收录于