sqoop

原创于 2019-12-10 21:01:04 发布 · 142 阅读

0 ·

CC 4.0 BY-SA版权

Author:baiyun ,Email:mitbaiyun@163.com

文章标签：

#sqoop

本文介绍如何利用Sqoop工具从MySQL数据库中导入数据到Hadoop的HDFS系统，通过具体命令示例展示了全量及增量导入的方法，包括连接配置、目标目录设置、字段终止符指定、并行任务数设定等关键步骤。

sqoop job --create job_2 – import --connect ‘jdbc:mysql://sunchen11/hadoopguide’ --username root --password root --table widgets -m 1 --target-dir --target-dir /sqoop/test/djt_user --append --check-column ‘id’ --incremental append --last-value 1

sqoop import \
--connect jdbc:mysql://hadoop202:3306/db02 \
--username tim \
--password 123456 \
--table emp \
--target-dir /mysqoop/emp \
--delete-target-dir \
--fields-terminated-by "\t" \
--num-mappers 2 \
--split-by id \
--columns 'id , name' \
--where 'id >= 5 and id <= 9'   //换行符\与其它字段是空格间隔，大小写敏感
[bai@hadoop202 lib]$ hdfs dfs -cat '/mysqoop/emp/part-m-00001'