sqoop将数据库的内容在HDFS的上传、下载

原创于 2018-12-11 20:55:58 发布 · 176 阅读

0 ·

CC 4.0 BY-SA版权

大数据同时被 2 个专栏收录

51 篇文章

订阅专栏

sqoop

1 篇文章

订阅专栏

本文详细介绍了使用Sqoop工具在MySQL数据库与Hadoop HDFS之间进行数据上传与下载的方法。包括创建数据库表、数据导入、按需筛选上传、特定查询导入及数据导出等操作步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

sqoop上传、下载文件的环境必须是在hadoop运行的前提下，所以需要先启动hadoop

1.在数据库建立表emp

create table emp(id int(4),name varchar(20));

2.查看表的内容 select * from emp；

3.Sqoop import; 普通的上传

./bin/sqoop import --connect jdbc:mysql://localhost:3306/sqoop1 --username root --password 123456 --table emp1 --m 1;

4.按需上传，进行赛选，满足条件上传到HDFS

./bin/sqoop import --connect jdbc:mysql://localhost:3306/sqoop1 --username root --password 123456 --where "name='lisi'" --target-dir /wherequery3 --table emp1 --m 1

5.按需导入


 ./bin/sqoop import --connect jdbc:mysql://localhost:3306/sqoop1 
--username root --password 123456 --where "name='lisi'" 
--target-dir /wherequery4 --query 'select id,name from emp1 where id >1 
and $CONDITIONS' --split-by id --fields-terminated-by '\t' --m 1

6.导出


./bin/sqoop export --connect jdbc:mysql://localhost:3306/sqoop1
 --username root --password 123456 
 --table emp1 --export-dir /user/root/emp1