Sqoop 从MySQL 导入导出HDFS

1.Sqoop 导入(import)HDFS

# 从MySQL导入到HDFS
# Caused by: java.sql.SQLException: Access denied for user 'root'@'localhost' (using password: YES)
# 将127.0.0.1:3306 改为 ip:3306
--table 是要导入HDFS中的表
--columns 选择要导入的列，这里选择把fname,lname两列导入的HDFS中。
--where 对数据进行过滤，只有满足条件的才保存到HDFS中。
--target-dir 指定导入特定hdfs中的路径 (默认导入到 /user/当前linux用户名/mysql表名/)
--delete-target-dir 表示如果HDFS表存在，则把他删除。
-m 指定通过几个map reduce任务去执行 ，如果表比较大的话，建议使用多个map，默认的map为4个 -m=1搬到hdfs上就是一个文件(前提是这个文件是小于128M,不然会拆分成多个block)

sqoop import --connect jdbc:mysql://192.168.18.126:3306/数据库名 --username 用户名 --password 密码 --table 表名 --columns "fname,lname" --where "id>2" --delete-target-dir -m 1

2.Sqoop 导出(export)HDFS

# 从HDFS导出到MySQL
--columns 指定导出到 mysql 中的列
--input-fields-terminated-by hdfs文件分隔符
更新数据
--updata-key
--update-mode allowinsert 指定更新的模式为可插入，默认为 updateonly
当数据库中字符为空时的处理
--input-null-non-string '0' 当不是字符串的数据为空的时候，用 0 替换
--input-null-string 'string' 当字符串为空的时候，使用string 字符替换

# 前提是该表在MySQL中已经存在
sqoop export --connect jdbc:mysql://192.168.18.126:3306/数据库名 --username 用户名 --password 密码 --table 表名 --columns "fname,lname" --input-fields-terminated-by ','  --export-dir 数据存在HDFS的文件下(如/user/root/u) -m 1