Apache sqoop简单使用介绍

最新推荐文章于 2025-06-03 18:00:00 发布
原创 最新推荐文章于 2025-06-03 18:00:00 发布 · 911 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#sqoop

本文详细介绍Sqoop工具在RDBMS与Hadoop生态体系间进行数据传输的方法，涵盖安装配置、全量与增量数据导入导出、子集导入、查询导入、HDFS与Hive数据迁移、sqoop job作业管理等核心内容。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

介绍

sqoop是RDBMS（mysql,oracle等）和Hadoop生态体系（hdfs,hive,hbase）间数据传输的工具，
通过将导入导出命令翻译为mapreduce命令来执行

安装及配置

① 解压

② 修改环境变量
cd到conf文件夹下，重命名sqoop-env-template.sh为sqoop-env.sh,并添加安装的hadoop，hive，hbase等安装路径

export HADOOP_COMMON_HOME= /export/servers/hadoop-2.7.5 
export HADOOP_MAPRED_HOME= /export/servers/hadoop-2.7.5
export HIVE_HOME= /export/servers/hive

③ 测试

列出所有数据库

cd /export/servers/sqoop-1.4.6-cdh5.14.0/

bin/sqoop list-databases \
--connect jdbc:mysql://localhost:3306/ \
--username root --password ******

缺少三个依赖包，下载并复制到lib文件夹下

mysql连接
jason包
hive执行包 （hive依赖包下有hive-exec，复制到sqoop依赖文件夹下）

导入

全量导入

全量导入到HDFS

bin/sqoop import \				#导入命令
--connect jdbc:mysql://bigdata01.virtualgroup.com/sqooptest \  #db位置和数据库名称
--username root \				#db用户名
--password ******\				#db密码
--target-dir /sqoopresult1 \	#hdfs保存路径
--table emp \					#MySQL中源数据表名
--m 1							#启动map个数

命令解释

–fields-terminated-by ‘\t’ 可以指定分隔符，默认逗号

–m 1 指定启动map数量，若是多个map，需指定map分割字段，推荐数字型主键

–split-by id 指定分割字段

全量导入到HIVE

方式一 先导入表结构，再导入数据

导入表结构

bin/sqoop create-hive-table \		#导入表结构
--connect jdbc:mysql://bigdata01.virtualgroup.com/sqooptest \ #数据库
--table emp_add \					#数据库表名
--username root \	
--password ******\
--hive-table default.emp_add_sp		#导入目标的hive数据库.表名

导入表数据

bin/sqoop import \
--connect jdbc:mysql://bigdata01.virtualgroup.com:3306/sqooptest \
--username root \
--password ******\
--table emp_add \
--hive-table default.emp_add_sp \
--hive-import \
--m 1

默认分隔符\001

方式二 直接导入表

bin/sqoop import \
--connect jdbc:mysql://bigdata01.virtualgroup.com:3306/sqooptest \
--username root \
--password ******\
--table emp_conn \			#表名emp_conn
--hive-import \
--m 1 \
--hive-database default;	#数据库名为default

子集导入

where过滤

bin/sqoop import \					#导入命令
--connect jdbc:mysql://bigdata01.virtualgroup.com/sqooptest \  #db位置和数据库名称
--username root \					#db用户名
--password ******\					#db密码
--target-dir /whereresult1 \		#hdfs保存路径
--where "dept='TP'"\				#字段过滤，仅导入符合要求的数据
--table emp \
--m 1								#启动map个数

query查询

bin/sqoop import \
--connect jdbc:mysql://bigdata01.virtualgroup.com/sqooptest \
--username root \
--password ******\
--target-dir /queryresult1 \
--query 'select id,street,city from emp_add where city="sec-bad"and $CONDITIONS' \
--m 1

规定

  • 出现–query不能出现–table（与–query内的from重复）
  • SQL语句不能以双引号包括，只能用单引号
  • 单引号内似乎不能出现单引号，是以单引号内含双引号交叉出现的，否则报错（实测）
  • query语句中必须有where条件，无需则添加where 1=1之类
  • where语句最后必须添加$CONDITIONS

增量导入

–check-column

指定一些列作为增量检查的字段，只能是时间或数字格式，可以指定多列

–incremental

append：追加，指定值之后的数追加导入

–last-value

自上次导入列后的最大值，或者自己设定

append模式

准备数据

bin/sqoop import \
--connect jdbc:mysql://bigdata01.virtualgroup.com/sqooptest \
--username root \
--password ******\
--target-dir /appendresult1 \
--table emp_add \
--m 1

增加数据

bin/sqoop import \
--connect jdbc:mysql://bigdata01.virtualgroup.com/sqooptest \
--username root \
--password ******\
--target-dir /appendresult1 \
--table emp_add \
--incremental append \ #有append和lastmodified两个选项，lastmodified如下
--check-column id \		#以ID列作为增量检查的字段
--last-value 1205 \		#原文件最后一个ID是1205，对大于此值的新增
--m 1

会在之前文件夹下新增一个文件，即为增量数据

lastmodified模式

append选项

准备数据

create table customertest(id int,name varchar(20),last_mod timestamp default current_timestamp on update current_timestamp);
#以上语法对timestamp列按系统时间默认，更新则也会自动修改此时间
insert into customertest(id,name) values(1,'neil');
insert into customertest(id,name) values(2,'jack');
insert into customertest(id,name) values(3,'martin');
insert into customertest(id,name) values(4,'tony');
insert into customertest(id,name) values(5,'eric');

导入

bin/sqoop import \
--connect jdbc:mysql://bigdata01.virtualgroup.com/sqooptest \
--username root \
--password ******\
--target-dir /lastmodifiedresult1 \
--table customertest \
--m 1

增加

insert into customertest(id,name) values(6,'james');

导入增加数据

bin/sqoop import \
--connect jdbc:mysql://bigdata01.virtualgroup.com/sqooptest \
--username root \
--password ******\
--table customertest \
--target-dir /lastmodifiedresult1 \
--check-column last_mod \
--incremental lastmodified \		
--last-value "2019-10-17 20:53:52" \	
--m 1 \
--append		#对大于等于last-value的新增,新建文件
merge-key选项

更新

update customertest set name = 'Neil' where id = 1;

导入增加数据

bin/sqoop import \
--connect jdbc:mysql://bigdata01.virtualgroup.com/sqooptest \
--username root \
--password ******\
--table customertest \
--target-dir /lastmodifiedresult1 \
--check-column last_mod \
--incremental lastmodified \		
--last-value "2019-10-17 20:53:52" \
--m 1 \
--merge-key id	#新增值新增，更新值更新，合并到一个新的-r-的文件中

导出

默认模式导出

HDFS->mysql 底层为insert一条条插入

myqsl需先手动建立对应的表

use sqooptest;
CREATE TABLE employee ( 
   id INT NOT NULL PRIMARY KEY, 
   name VARCHAR(20), 
   deg VARCHAR(20),
   salary INT,
   dept VARCHAR(10));

准备导出数据

vim empdata

1201,gopal,manager,50000,TP
1202,manisha,preader,50000,TP
1203,kalil,php dev,30000,AC
1204,prasanth,php dev,30000,AC
1205,kranthi,admin,20000,TP
1206,satishp,grpdes,20000,GR

hadoop fs -put empdata /sqoopoutput

数据导出

bin/sqoop export \
--connect jdbc:mysql://bigdata01.virtualgroup.com/sqooptest \
--username root \
--password ******\
--table employee \					#mysql中的表名
--export-dir /sqoopoutput/empdata	#导出数据的存放位置

其他参数

–input-fields-terminated-by ‘\t’ 指定分隔符

–columns 选择列并控制他们的排序，当源文件和数据库表列顺序一致时不需要

更新导出

updateonly

修改源数据

导出更新数据
updateonly只更新原有记录有变化的部分，不会更新新增数据

bin/sqoop export \
--connect jdbc:mysql://bigdata01.virtualgroup.com/sqooptest \
--username root \
--password ******\
--table employee \
--export-dir /sqoopoutput/empdata2 \
--update-key id \
--update-mode updateonly			#updateonly只更新更改，不会更新新增

allowinsert

修改源数据

导出更新数据
更新和新增的变化都会被导入

bin/sqoop export \
--connect jdbc:mysql://bigdata01.virtualgroup.com/sqooptest \
--username root \
--password ******\
--table employee \
--export-dir /sqoopoutput/empdata3 \
--update-key id \
--update-mode allowinsert			#updateonly新增和更改都会更新

sqoop job作业

创建job

bin/sqoop job --create updatejob -- export \	
#create后为job名称，inport/export前有空格
#其他语法同正常的导入导出操作
--connect jdbc:mysql://bigdata01.virtualgroup.com/sqooptest \
--username root \
--password ******\
--table employee \
--export-dir /sqoopoutput/empdata2 \
--update-key id \
--update-mode allowinsert

查看job

bin/sqoop job --list

查看job详细信息

bin/sqoop job --show jobname

执行job

bin/sqoop job --exec jobname

免密执行job

①新建文件保存密码，权限设置为400

②sqoop-site.xml设置

<property>
  <name>sqoop.metastore.client.record.password</name>
  <value>true</value>
  <description>If true, allow saved passwords in the metastore.
  </description>
</property>

③创建job时语法调整

--password ****** 			 #不再使用--password	
--password-file /密码地址	 #使用--password-file指定密码地址
Apache Sqoop （最新版本）
麦田里的守望者-蒋中洲【相信相信的力量】
02-08 708
概述 Apache Sqoop（TM）是一种旨在在Apache Hadoop和结构化数据存储（例如关系数据库）之间高效传输批量数据的工具。通过内嵌的MapReduce程序实现关系型数据库和HDFS、Hbase、Hive等数据的倒入导出。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TelQXgi3-1581128219010)(assets/image-20200...
Apache--Sqoop在大数据平台中的安装配置与应用实践
天冬忘忧的博客
10-01 1412
Sqoop作为Apache Hadoop生态系统中的一员，它提供了在Hadoop和关系型数据库之间高效传输大量数据的能力。本文将详细介绍Sqoop的基本理论、安装配置、使用方法以及在实际工作中如何利用Sqoop进行数据的导入导出。
Apache Sqoop介绍及入门总结
weixin_43178444的博客
07-17 360
1．sqoop介绍 Apache Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。来自于Apache软件基金会提供。 Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。 Hadoop生态系统包括：HDFS、Hive、Hbase等 RDBMS体系包括：Mys...
大数据 ETL 工具 Sqoop 深度解析与实战指南
最新发布
Cy513841863的博客
06-03 2128
Apache Sqoop数据迁移工具的核心理论与实战应用
Apache Sqoop介绍&安装
麦田里的守望者-蒋中洲【相信相信的力量】
01-05 573
概述 Apache Sqoop（TM）是一种旨在在Apache Hadoop和结构化数据存储（例如关系数据库）之间高效传输批量数据的工具。通过内嵌的MapReduce程序实现关系型数据库和HDFS、Hbase、Hive等数据的倒入导出。 安装 1、访问sqoop的网址http://sqoop.apache.org/，选择相应的sqoop版本下载，本案例选择下载的是1.4.7下载地址：https:...
Apache Sqoop 使用详解
weixin_30617737的博客
10-24 175
目录： 　　 使用场景 　　 基本架构 　　 数据划分 　　 类型映射 　　 Sqoop Import 　　 Sqoop Export 使用场景 　 线上业务系统使用的存储一般是MySQL等关系型数据库，MySQL的优势是能快速应对频繁的增删改查，但对于针对历史数据等大数据量进行统计分析，数据挖掘等需求就不能满足了，这也是大数据技...
Apache Sqoop 基础（入门）
fqw2019的博客
08-01 685
sqoop介绍 Apache Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。来自于Apache软件基金会提供。 Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。 Hadoop生态系统包括：HDFS、Hive、Hbase等 RDBMS体系...
Apache Sqoop Cookbook
02-14
最后，《Apache Sqoop Cookbook》还会涉及安全性、性能优化和故障排查等方面，帮助用户在实际生产环境中更好地使用Sqoop。这包括理解认证和授权机制，以及如何通过调整参数来提高数据传输速度和降低资源消耗。 总的...
1、Apache Sqoop介绍及部署
05-29
在实际使用中，Sqoop不仅可以用于简单的数据迁移，还可以通过Sqoop Job来管理批处理的数据导入导出任务，实现定时调度。此外，Sqoop还支持多种数据类型和复杂的数据结构，如数组、结构体等，使得它能够处理更广泛的...
慌了！ Apache Sqoop正式退役？
weixin_47158466的博客
08-24 3291
意外发现 前两天打算迁移一份数据，自然而想到了Apache Sqoop，遂打开Apache官网寻找下载链接，但是竟然没有找到他的踪影。 这不科学啊，前几个月还看到过来着，有点不死心，直接尝试登陆直接https://sqoop.apache.org/ Aapche Sqoop官网 Project Sqoop has retired. For details please refer to its Attic page. Apache基金会里竟然还有项目退役一说，仔细看了下，原来Apach
Apache Sqoop
散步的博客
04-29 560
sqoop 介绍： Apache Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。来自于Apache软件基金会提供。 Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。 Hadoop生态系统包括：HDFS、Hive、Hbase等 RDBMS体系包括...
Sqoop的学习之路 （1）
weixin_43833543的博客
11-28 392
1． sqoop介绍 Apache Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。来自于Apache软件基金会提供。 Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。 Hadoop生态系统包括：HDFS、Hive、Hbase等 RDBMS体系包括：My...
【Hadoop】Apache Sqoop - Overview——Sqoop 概述
_朝和
12-14 969
本篇主要简单地介绍Sqoop的使用操作
大数据开发之sqoop数据迁移工具简介
fa124607857的博客
10-11 357
概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等 sqoop1与sqoop2架构对比 sqoop1架构 sqoop2架构 工作机制 将...
Apache Sqoop是什么
大数据流浪法师的学习笔记与分享
11-29 342
Sqoop介绍 Apache Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具，Apache软件基金会提供。 Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。 在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。 Hadoop生态系统包括：HDFS、Hive、Hbase等 RDBMS体系包括：Mysql、O...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值