Sqoop 数据迁移

最新推荐文章于 2021-09-08 17:30:22 发布
原创 最新推荐文章于 2021-09-08 17:30:22 发布 · 282 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#sqoop

Sqoop是一个用于在Hadoop和关系数据库之间传输数据的工具
将数据从RDBMS导入到Hadoop
HDFS、Hive、HBase
从Hadoop导出数据到RDBMS
将导入或导出命令翻译成MapReduce程序来并行操作和容错
目标用户
系统管理员、数据库管理员
大数据分析师、大数据开发工程师等

MySQL数据导入HDFS

准备工作：mysql中建库建表
mysql> create database retail_db;

mysql> use retail_db;

mysql> source /root/data/sqoop/retail_db.sql

使用sqoop将customers表导入到hdfs上

sqoop import --connect jdbc:mysql://localhost:3306/retail_db --driver com.mysql.jdbc.Driver --table customers --username root --password ok --target-dir /data/retail_db/customers --m 3

报错

Exception in thread “main” java.lang.NoClassDefFoundError: org/json/JSONObject
at org.apache.sqoop.util.SqoopJsonUtil.getJsonStringforMap(SqoopJsonUtil.java:43)
at org.apache.sqoop.SqoopOptions.writeProperties(SqoopOptions.java:784)
at org.apache.sqoop.mapreduce.JobBase.putSqoopOptionsToConfiguration(JobBase.java:392)
at org.apache.sqoop.mapreduce.JobBase.createJob(JobBase.java:378)
at org.apache.sqoop.mapreduce.ImportJobBase.runImport(ImportJobBase.java:256)
at org.apache.sqoop.manager.SqlManager.importTable(SqlManager.java:692)
at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:513)
at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:621)
at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
Caused by: java.lang.ClassNotFoundException: org.json.JSONObject

拷贝jar包
cp /opt/software/java-json.jar /opt/install/sqoop-1.4.6-cdh5.14.2/lib/

重新执行

使用where过滤
sqoop import \
--connect jdbc:mysql://localhost:3306/retail_db \
--driver com.mysql.jdbc.Driver \
--table orders \
--where "order_id<100" \
--username root \
--password root \
--delete-target-dir \
--target-dir /data/retail_db/orders \
--m 3

使用columns过滤
sqoop import \
--connect jdbc:mysql://localhost:3306/retail_db \
--driver com.mysql.jdbc.Driver \
--table customers \
--columns "customer_id,customer_fname,customer_lname" \
--username root \
--password root \
--delete-target-dir \
--target-dir /data/retail_db/customers \
--m 3

使用查询语句进行过滤
sqoop import \
--connect jdbc:mysql://localhost:3306/retail_db \
--driver com.mysql.jdbc.Driver \

select * from orders ;

并行计算，–m 3 ，假设只有90个order_id
select * from orders where order>=0 and order <30;
select * from orders where order>=30 and order <60;
select * from orders where order>=60 and order <90;

如果按照日期进行指定的话
假设有3天，其中第一天10订单，第二天50订单，第3天20订单
select * from orders where order_date>=2020-7-20 and order_date<2020-7-21;
select * from orders where order_date>=2020-7-21 and order_date<2020-7-22;
select * from orders where order_date>=2020-7-22 and order_date<2020-7-23;

**增量导入**
sqoop import \
--connect jdbc:mysql://localhost:3306/retail_db \
--driver com.mysql.jdbc.Driver \
--table orders \
--username root \
--password root \
--incremental append \
--check-column order_date \
--last-value '2013-07-24 00:00:00'
--target-dir /data/retail_db/orders \
--m 3

SELECT MIN(order_id), MAX(order_id) FROM orders WHERE ( order_date > ‘2013-07-24 00:00:00’ AND order_date <= ‘2014-07-24 00:00:00.0’ )
insert into orders values(99999,‘2015-05-30 00:00:00’,11599,‘CLOSED’);

sqoop import \
--connect jdbc:mysql://localhost:3306/retail_db \
--driver com.mysql.jdbc.Driver \
--table orders \
--username root \
--password root \
--incremental append \
--check-column order_date \
--last-value '0'
--target-dir /data/retail_db/orders \
--m 3

SELECT MIN(order_id), MAX(order_id) FROM orders WHERE ( order_date > ‘2014-07-24 00:00:00.0’ AND order_date <= ‘2015-05-30 00:00:00.0’ )

创建job

sqoop job --create mysql2hdfs \
-- import \
--connect jdbc:mysql://localhost:3306/retail_db \
--driver com.mysql.jdbc.Driver \
--table orders \
--username root \
--password root \
--incremental append \
--check-column order_date \
--last-value '0' \
--target-dir /data/retail_db/orders \
--m 3

查看job
sqoop job --list

执行job
sqoop job --exec mysql2hdfs

insert into orders values(999999,‘2016-05-30 00:00:00’,11599,‘CLOSED’);

SELECT MIN(order_id), MAX(order_id) FROM orders WHERE ( order_date > ‘2015-05-30 00:00:00.0’ AND order_date <= ‘2016-05-30 00:00:00.0’ )

每次job执行成功之后都会修改 --last-value 值 将最后一次的最大值填充进去
这里的 ‘0’ 没有实际含义，只是为了保证第一次数据导入时值最小

每天可以定时执行
crontab -e

  • 2 */1 * * sqoop job --exec mysql2hdfs

导入数据到Hive中

先在Hive中创建表
hive -e “create database if not exists retail_db;”


```c

```c

```c

```c

```c

```c
sqoop import \
--connect jdbc:mysql://localhost:3306/retail_db \
--driver com.mysql.jdbc.Driver \
--table orders \
--username root \
--password root \
--hive-import \
--create-hive-table \
--hive-database retail_db \
--hive-table orders \
--m 3

报错，输出路径已存在
20/07/15 22:29:04 ERROR tool.ImportTool: Import failed: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://hadoop1:9000/user/root/orders already exists
at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:146)
at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:270)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:143)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1307)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1304)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1920)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:1304)
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1325)
at org.apache.sqoop.mapreduce.ImportJobBase.doSubmitJob(ImportJobBase.java:203)
at org.apache.sqoop.mapreduce.ImportJobBase.runJob(ImportJobBase.java:176)
at org.apache.sqoop.mapreduce.ImportJobBase.runImport(ImportJobBase.java:273)
at org.apache.sqoop.manager.SqlManager.importTable(SqlManager.java:692)
at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:513)
at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:621)
at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
删除已存在的目录
[root@hadoop1 lib]# hdfs dfs -rmr hdfs://hadoop1:9000/user/root/orders

又报错
20/07/15 22:26:56 ERROR tool.ImportTool: Import failed: java.io.IOException: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf
at org.apache.sqoop.hive.HiveConfig.getHiveConf(HiveConfig.java:50)
at org.apache.sqoop.hive.HiveImport.getHiveArgs(HiveImport.java:392)
at org.apache.sqoop.hive.HiveImport.executeExternalHiveScript(HiveImport.java:379)
at org.apache.sqoop.hive.HiveImport.executeScript(HiveImport.java:337)
at org.apache.sqoop.hive.HiveImport.importTable(HiveImport.java:241)
at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:530)
at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:621)
at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf

缺少hive-common-1.1.0-cdh5.14.2.jar，所以从Hive的lib中进行拷贝
cp /opt/install/hive-1.1.0-cdh5.14.2/lib/hive-common-1.1.0-cdh5.14.2.jar /opt/install/sqoop-1.4.6-cdh5.14.2/lib/

再执行又报错
Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/hive/shims/ShimLoader
at org.apache.hadoop.hive.conf.HiveConf$ConfVars.(HiveConf.java:370)
at org.apache.hadoop.hive.conf.HiveConf.(HiveConf.java:108)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:264)
at org.apache.sqoop.hive.HiveConfig.getHiveConf(HiveConfig.java:44)
at org.apache.sqoop.hive.HiveImport.getHiveArgs(HiveImport.java:392)
at org.apache.sqoop.hive.HiveImport.executeExternalHiveScript(HiveImport.java:379)
at org.apache.sqoop.hive.HiveImport.executeScript(HiveImport.java:337)
at org.apache.sqoop.hive.HiveImport.importTable(HiveImport.java:241)
at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:530)
at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:621)
at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.shims.ShimLoader

缺少jar包，需要从Hive中进行拷贝
cp /opt/install/hive-1.1.0-cdh5.14.2/lib/hive-shims* /opt/install/sqoop-1.4.6-cdh5.14.2/lib/

**

导入数据到Hive分区中

**
删除Hive表
drop table if exists orders;
导入
sqoop import
–connect jdbc:mysql://localhost:3306/retail_db
–driver com.mysql.jdbc.Driver
–query “select order_id,order_status from orders where order_date>=‘2013-11-03’ and order_date <‘2013-11-04’ and $CONDITIONS”
–username root
–password root
–delete-target-dir
–target-dir /data/retail_db/orders
–split-by order_id
–hive-import
–hive-database retail_db
–hive-table orders
–hive-partition-key “order_date”
–hive-partition-value “2013-11-03”
–m 3

注意：分区字段不能当成普通字段导入表中

导入数据到HBase中

1.在HBase中建表
create ‘products’,‘data’,‘category’
2.sqoop导入
sqoop import
–connect jdbc:mysql://localhost:3306/retail_db
–driver com.mysql.jdbc.Driver
–username root
–password root
–table products
–hbase-table products
–column-family data
–m 3

HDFS 向MySQL中导出数据

1.MySQL中建表
create table customers_demo as select * from customers where 1=2;

2.上传数据
hdfs dfs -mkdir /customerinput
hdfs dfs -put customers.csv /customerinput

3.导出数据
sqoop export
–connect jdbc:mysql://localhost:3306/retail_db
–driver com.mysql.jdbc.Driver
–username root
–password root
–table customers_demo
–export-dir /customerinput
–m 1

sqoop 脚本

1.编写脚本 job_RDBMS2HDFS.opt
import
–connect
jdbc:mysql://localhost:3306/retail_db
–driver
com.mysql.jdbc.Driver
–table
customers
–username
root
–password
root
–target-dir
/data/retail_db/customers
–delete-target-dir
–m
3

2.执行脚本
sqoop --options-file job_RDBMS2HDFS.opt

大数据技术应用 sqoop数据迁移
m0_51679196的博客
09-05 1090
sqoop数据迁移
sqoop-1.4.6安装与使用
weixin_30443731的博客
08-30 240
一、安装1.下载sqoop-1.4.6-bin.tar.gz并解压2.修改conf/sqoop-env.sh，设置如下变量：export HADOOP_COMMON_HOME=/usr/local/hadoop-2.6.3export HADOOP_MAPRED_HOME=/usr/local/hadoop-2.6.3export HBASE_HOME=/usr/local/hbase-1.1.3...
sqoop 在hbase运行时出现job: java.io.IOException: java.lang.reflect.InvocationTargetException解决办法
热门推荐
鑫鑫23的博客
05-26 1万+
最近在学习Linux下sqoop连接hbase数据库并导入数据时出现如下错误： job: java.io.IOException: java.lang.reflect.InvocationTargetException         at org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(Con        
sqoop导入mysql到hbase报错 java.lang.NoSuchMethodError: org.apache.hadoop.hbase.client.HBaseAdmin.<init>
hui7822922a的博客
08-01 6896
sqoop导入mysql到hbase报错 java.lang.NoSuchMethodError: org.apache.hadoop.hbase.client.HBaseAdmin.<init> bin/sqoop import -D sqoop.hbase.add.row.key=true --connect jdbc:mysql://172.16.92.xx:3306/db_c...
job全异常 mapreduce_Sqoop导入数据异常处理
weixin_39945679的博客
02-01 288
1.错误提示(没有json.jar包)19/01/30 11:59:48 INFO manager.DirectMySQLManager: Beginning mysqldump fast path import19/01/30 11:59:48 INFO mapreduce.ImportJobBase: Beginning import of t3Exception in thread "mai...
Sqoop数据迁移原理及基本框架
monstarerv的博客
12-22 658
目录 Sqoop简介 Sqoop旨在协助RDBMS与Hadoop之间进行高效的大数据交流。可以把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中；同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。   Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具，结构化数据可以是MySQL、Oracle等RDBMS。Sqoop底层用MapReduce程序实现抽取、转换、加载，MapReduce天生的特性保证了并行化和高容错率。   如果要用Sqo
大数据课程-Hadoop集群程序设计与开发-10.Sqoop数据迁移_lk_edit.pptx
01-01
【大数据课程-Hadoop集群程序设计与开发-10.Sqoop数据迁移】是针对大数据领域的一门课程，主要讲解如何使用Sqoop工具进行数据在Hadoop集群与关系型数据库之间的迁移。Sqoop是一款由Apache开发的开源软件，专门用于...
sqoop数据迁移
lsy107816的博客
12-19 635
sqoop数据迁移 概述： sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等 工作机制：是将导入和导出的命令翻译成mapreduce程序来实现，在翻译出的mapreduce中主要对inp...
sqoop使用过程中的排错
weixin_34344677的博客
10-30 799
2019独角兽企业重金招聘Python工程师标准>>> ...
sqoop远程连接出现的两个小错误
Kang Hao‘s Blog
07-31 1993
sqoop连接MYSQL数据库时出现以下错误： 错误一： 19/07/31 03:56:24 ERROR manager.CatalogQueryManager: Failed to list tables com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure Last p...
Sqoop 连接mysql 错误 java.lang.NoClassDefFoundError
stranger_bai的博客
05-24 1040
1.首先说一下前提 hadoop 已经正常启动，并且mysql驱动包已经导入好：（Hadoop 3.2.0 ，mysql 8.0， mysql 驱动8.0，Sqoop 1.4.7） 2.错误信息 Exception in thread "main" java.lang.NoClassDefFoundError: org/a...
sqoop导出到mysql中文失败_Sqoop导出到MySQL错误赏析
weixin_42395669的博客
02-01 877
18/12/27 15:04:30 INFO mapreduce.Job: Running job: job_1543155456252_660618/12/27 15:04:35 INFO mapreduce.Job: Job job_1543155456252_6606 running in uber mode : false18/12/27 15:04:35 INFO mapreduce.J...
apache-sqoop使用问题及总结
weixin_45450027的博客
09-08 614
目录 1.找不到hive 2.sqoophook、hivedatatypes 使用版本为ambari-2.7.3，自带的sqoop-1.4.7 1.找不到hive 21/09/08 11:16:16 ERROR tool.ImportTool: Import failed: java.io.IOException: Cannot run program "hive": error=2, No such file or directory 在安装sqoop的机器上，安装hive客户端并配置环.
Sqoop的安装配置与使用
Sartin的博客
06-06 1万+
文章目录标题介绍与特点概述工作机制安装与配置Sqoop常用的命令操作将数据库中的数据导入到HDFS将HDFS上的数据导出到数据库中 介绍与特点 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 对于某些NoSQL数据库它也提供了连接器。Sqoop，类似于其他ETL工具，使用元数据模型来判断数据类型并在数据从数据源转移到
Mapreduce运行报错
qq_41330277的博客
10-31 797
 WARN security.UserGroupInformation：PriviledgedActionException as：hadoop（auth：SIMPLE）cause：java.io.IOException：java.net.ConnectException：在连接异常时调用从hh4 / 192.168.21.128到hh4：10020失败：java.net.ConnectExcep...
sqoop数据迁移与应用
最新发布
06-17
### Sqoop 数据迁移的使用方法及应用场景 #### 1. Sqoop 数据迁移的基本原理 Apache Sqoop 是一种用于在关系型数据库（RDBMS）和 Hadoop 生态系统之间高效传输大数据的工具[^2]。它通过 MapReduce 任务将数据从关系...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值