sqoop数据迁移（04）——sqoop数据导出

最新推荐文章于 2025-06-07 19:07:16 发布

Fenggms

最新推荐文章于 2025-06-07 19:07:16 发布

阅读量257

点赞数

CC 4.0 BY-SA版权

分类专栏： Hadoop辅助系统文章标签： sqoop

本文链接：https://blog.youkuaiyun.com/Fenggms/article/details/82941142

Hadoop辅助系统专栏收录该内容

25 篇文章

订阅专栏

本文介绍如何使用Sqoop工具将HDFS上的数据导出至MySQL数据库，包括创建MySQL表结构、配置导出命令及执行过程。通过具体实例演示了数据导出的全过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

sqoop的数据导出是指将数据从HDFS把文件导出到RDBMS数据库。
导出前，目标表必须存在于目标数据库中。
默认操作是从将文件中的数据使用INSERT语句插入到表中。
更新模式下，是生成UPDATE语句更新表数据。

hdfs导出到mysql

数据是在HDFS当中的如下目录/sqoop/emp，数据内容如下：（拿人家的数据啦）

1201,gopal,manager,50000,TP,2018-06-17 18:54:32.0,2018-06-17 18:54:32.0,1
1202,manisha,Proof reader,50000,TP,2018-06-15 18:54:32.0,2018-06-17 20:26:08.0,1
1203,khalil,php dev,30000,AC,2018-06-17 18:54:32.0,2018-06-17 18:54:32.0,1
1204,prasanth,php dev,30000,AC,2018-06-17 18:54:32.0,2018-06-17 21:05:52.0,0
1205,kranthi,admin,20000,TP,2018-06-17 18:54:32.0,2018-06-17 18:54:32.0,1

创建mysql表

CREATE TABLE `emp_out` (
  `id` INT(11) DEFAULT NULL,
  `name` VARCHAR(50) DEFAULT NULL,
  `deg` VARCHAR(50) DEFAULT NULL,
  `salary` INT(11) DEFAULT NULL,
  `dept` VARCHAR(10) DEFAULT NULL,
  `create_time` TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `update_time` TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  `is_delete` BIGINT(20) DEFAULT '1'
) ENGINE=INNODB DEFAULT CHARSET=utf8;

执行导出命令

通过export来实现数据的导出，将hdfs的数据导出到mysql当中去

bin/sqoop export \
--connect jdbc:mysql://192.168.52.5:3306/userdb \
--username root --password 123 \
--table emp_out \
--export-dir /sqoop/emp \
--input-fields-terminated-by ","