Sqoop1.4.6快速入门总结

最新推荐文章于 2022-05-30 10:42:46 发布
最新推荐文章于 2022-05-30 10:42:46 发布
阅读量2.3k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xp_lx1/article/details/100540403

1 Sqoop概述

传统的应用程序管理系统，即应用程序与使用RDBMS的关系数据库的交互，是产生大数据的来源之一。由RDBMS生成的这种大数据存储在关系数据库结构中的关系数据库服务器中。

当大数据存储和Hadoop生态系统的MapReduce，Hive，HBase，Cassandra，Pig等分析器出现时，他们需要一种工具来与关系数据库服务器进行交互，以导入和导出驻留在其中的大数据。在这里，Sqoop在Hadoop生态系统中占据一席之地，以便在关系数据库服务器和Hadoop的HDFS之间提供可行的交互。

Sqoop - “SQL到Hadoop和Hadoop到SQL”

Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库（如MySQL，Oracle）导入数据到Hadoop HDFS，并从Hadoop文件系统导出到关系数据库。它由Apache软件基金会提供。

Sqoop如何工作？

下图描述了Sqoop的工作流程。

Sqoop导入

导入工具从RDBMS向HDFS导入单独的表。表中的每一行都被视为HDFS中的记录。所有记录都以文本文件的形式存储在文本文件中或作为Avro和Sequence文件中的二进制数据存储。

Sqoop导出

导出工具将一组文件从HDFS导出回RDBMS。给Sqoop输入的文件包含记录，这些记录在表中被称为行。这些被读取并解析成一组记录并用用户指定的分隔符分隔。

 

2  验证Sqoop

以下命令用于验证Sqoop版本。

  1. $ cd $SQOOP_HOME/bin

  2. $ sqoop-version

输出 -

  1. 14/12/17 14:52:32 INFO sqoop.Sqoop: Running Sqoop version: 1.4.5

  2. Sqoop 1.4.5 git commit id 5b34accaca7de251fc91161733f906af2eddbe83

  3. Compiled by abe on Fri Aug 1 11:19:26 PDT 2014

Sqoop安装完成，如何安装百度下就可以了。

 

3 从MySQL数据库导入到Hadoop HDFS

本章介绍如何将数据从MySQL数据库导入到Hadoop HDFS。“导入工具”从RDBMS将单个表导入HDFS。表中的每一行都被视为HDFS中的记录。所有记录均以文本数据的形式存储在文本文件中，或作为Avro和Sequence文件中的二进制数据存储。

语法

以下语法用于将数据导入HDFS。

  1. $ sqoop import (generic-args) (import-args)

让我们举一个名为emp，emp_add和emp_contact的三个表的示例，这些表位于MySQL数据库服务器中名为test的数据库中。

这三张表格及其数据如下。

CREATE TABLE `emp` (
  `id` bigint(20) NOT NULL,
  `name` varchar(255) DEFAULT NULL,
  `deg` varchar(255) DEFAULT NULL,
  `salary` decimal(10,2) DEFAULT NULL,
  `dept` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
INSERT INTO `test`.`emp` (`id`, `name`, `deg`, `salary`, `dept`) VALUES ('1201', 'gopal', 'manager', '50000.00', 'TP');
INSERT INTO `test`.`emp` (`id`, `name`, `deg`, `salary`, `dept`) VALUES ('1202', 'manisha', 'Proof reader', '50000.00', 'TP');
INSERT INTO `test`.`emp` (`id`, `name`, `deg`, `salary`, `dept`) VALUES ('1203', 'dashan', 'manager', '25000.00', 'CP');
INSERT INTO `test`.`emp` (`id`, `name`, `deg`, `salary`, `dept`) VALUES ('1204', 'zhangshan', 'manager', '54200.00', 'VU');


CREATE TABLE `emp_add` (
  `id` bigint(20) NOT NULL,
  `hno` varchar(256) DEFAULT NULL,
  `street` varchar(255) DEFAULT NULL,
  `city` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
INSERT INTO `test`.`emp_add` (`id`, `hno`, `street`, `city`) VALUES ('1201', '288A', 'vgiri', 'jublee');
INSERT INTO `test`.`emp_add` (`id`, `hno`, `street`, `city`) VALUES ('1202', '288B', 'guizhou', 'guiyang');

CREATE TABLE `emp_contact` (
  `id` int(11) NOT NULL,
  `phno` varchar(256) DEFAULT NULL,
  `email` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
INSERT INTO `test`.`emp_contact` (`id`, `phno`, `email`) VALUES ('1201', '2356742', 'gopal@tp.com');
INSERT INTO `test`.`emp_contact` (`id`, `phno`, `email`) VALUES ('1202', '12345678', 'manisha@tp.com');

导入表格

Sqoop工具“导入”用于将表格数据从表格导入到Hadoop文件系统，作为文本文件或二进制文件。

（1）以下命令用于将emp表从MySQL数据库服务器导入到HDFS。

sqoop import \
--connect jdbc:mysql://node0:3306/test \
--username ambari \
--password 123 \
--table emp --m 1

（2）我们可以在使用Sqoop导入工具将表格数据导入HDFS时指定目标目录。

以下是将目标目录指定为Sqoop导入命令的选项的语法。

--target-dir <new or exist directory in HDFS>
sqoop import \
--connect jdbc:mysql://node0:3306/test \
--username ambari \
--password 123 \
--table emp_add --m 1
--target-dir /emp_add

 （3）我们可以使用Sqoop导入工具中的'where'子句导入表的一个子集。它在相应的数据库服务器中执行相应的SQL查询，并将结果存储在HDFS中的目标目录中。

sqoop import \
--connect jdbc:mysql://node0:3306/test \
--username ambari \
--password 123 \
--table emp_add --m 1 \
--where "city ='guiyang'" \
--target-dir /emp_add

（4）将mysql数据增量导入到hdfs

增量导入是一种仅导入表中新添加的行的技术。需要添加'incremental'，'check-column'和'last-value'选项来执行增量导入。

以下语法用于Sqoop导入命令中的增量选项。

--incremental <mode>
--check-column <column name>
--last value <last check column value>

新增一行数据：1205, satish p, grp des, 20000, GR

sqoop import \
--connect jdbc:mysql://node0:3306/test \
--username ambari \
--password 123 \
--table emp --m 1 \
--incremental append \
--check-column id \
--last-value 1206

 （5）导入所有表格

以下语法用于导入所有表。

$ sqoop import-all-tables (generic-args) (import-args)

让我们举一个从userdb数据库导入所有表的例子。数据库userdb包含的表的列表如下所示。

 +--------------------+
 |      Tables        |
 +--------------------+
 |      emp           |
 |      emp_add       |
 |      emp_contact   |
 +--------------------+

以下命令用于从userdb数据库中导入所有表。

sqoop import-all-tables \
--connect jdbc:mysql://node0:3306/test \
--username ambari \
--password 123

注 - 如果使用的是全部导入表，则该数据库中的每个表都必须具有主键字段。

以下命令用于验证HDFS中的所有表数据到test数据库。

hadoop fs -ls

它将向您显示userdb数据库中的表名称列表作为目录。

输出

drwxr-xr-x - hadoop supergroup 0 2014-12-22 22:50 _sqoop
drwxr-xr-x - hadoop supergroup 0 2014-12-23 01:46 emp
drwxr-xr-x - hadoop supergroup 0 2014-12-23 01:50 emp_add
drwxr-xr-x - hadoop supergroup 0 2014-12-23 01:52 emp_contact

（6） 将mysql数据导入hbase和phoenix关联中(在hbse中如果没有存在的表，将会创建emp表)

sqoop import \
--connect jdbc:mysql://node0:3306/test \
--username ambari \
--password 123 \
--table emp  \
--hbase-table emp \
--column-family info  \
--hbase-create-table \
--hbase-row-key id

--hbase-table：在hbase中创建的表

--column-family：列族

--hbase-create-table：如果hbase没有该表则会创建

--hbase-row-key id：主键

 

4 HDFS导出回RDBMS数据库

本章介绍如何将数据从HDFS导出回RDBMS数据库。目标表必须存在于目标数据库中。输入给Sqoop的文件包含记录，这些记录在表中称为行。这些被读取并解析成一组记录并用用户指定的分隔符分隔。

缺省操作是使用INSERT语句将输入文件中的所有记录插入到数据库表中。在更新模式下，Sqoop生成将现有记录替换到数据库中的UPDATE语句。

语法

以下是导出命令的语法。

$ sqoop export (generic-args) (export-args)

例

让我们以HDFS中的文件中的员工数据为例。雇员数据在HDFS的'emp /'目录中的emp_data文件中可用。该emp_data如下。

1201,  gopal,         manager,     50000.00, TP
1202,  manisha,    Proof reader,50000.00, TP
1203,  dashan,      manager,     25000.00, CP
1204,  zhangshan,manager,     54200.00, VU

以下查询用于在mysql命令行中创建表'employee'。

CREATE TABLE `employee` (
  `id` bigint(20) NOT NULL,
  `name` varchar(255) DEFAULT NULL,
  `deg` varchar(255) DEFAULT NULL,
  `salary` decimal(10,2) DEFAULT NULL,
  `dept` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
sqoop export \
--connect jdbc:mysql://node0:3306/test \
--username ambari \
--password 123 \
--table employee \
--export-dir emp/*

5 Sqoop作业Job

本章介绍如何创建和维护Sqoop作业。Sqoop作业创建并保存导入和导出命令。它指定参数来识别和调用保存的作业。这种重新调用或重新执行用于增量导入，它可以将更新的行从RDBMS表导入HDFS。

语法

以下是创建Sqoop作业的语法。

$ sqoop job (generic-args) (job-args)[-- [subtool-name] (subtool-args)]

创建作业（--create）

我们在这里创建一个名为myjob的作业，它可以将表数据从RDBMS表导入HDFS。以下命令用于创建将数据从db数据库中的employee表导入到HDFS文件的作业。

sqoop job --create addjob \
-- import \
--connect jdbc:mysql://node0:3306/test \
--username ambari \
--password 123 \
--table employee --m 1

 查看创建作业：

sqoop job --list

检查作业：

sqoop job --show myjob

执行作业：

sqoop job --exec myjob

创建增量作业：

sqoop job --create addjob \
-- import \
--connect jdbc:mysql://node0:3306/test \
--username ambari \
--password 123 \
--query "SELECT id, name, deg, salary, dept FROM emp where \$CONDITIONS" \
--split-by id \
--target-dir /user/hdfs/emp \
--split-by id \
--incremental append \
--check-column id \
--last-value 0

6 Eval

本章介绍如何使用Sqoop'eval'工具。它允许用户针对各自的数据库服务器执行用户定义的查询，并在控制台中预览结果。所以，用户可以期望导入结果表数据。使用eval，我们可以评估任何类型的可以是DDL或DML语句的SQL查询。

语法

以下语法用于Sqoop eval命令。

$ sqoop eval (generic-args) (eval-args) 
$ sqoop-eval (generic-args) (eval-args)

选择查询评估

使用eval工具，我们可以评估任何类型的SQL查询。让我们举一个在db数据库的employee表中选择有限行的例子。以下命令用于评估使用SQL查询的给定示例。

$ sqoop eval \
--connect jdbc:mysql://localhost/db \
--username root \ 
--query “SELECT * FROM employee LIMIT 3”

如果该命令执行成功，则它将在终端上产生以下输出。

+------+--------------+-------------+-------------------+--------+
| Id   | Name         | Designation | Salary            | Dept   |
+------+--------------+-------------+-------------------+--------+
| 1201 | gopal        | manager     | 50000             | TP     |
| 1202 | manisha      | preader     | 50000             | TP     |
| 1203 | khalil       | php dev     | 30000             | AC     |
+------+--------------+-------------+-------------------+--------+

插入查询评估

Sqoop评估工具可适用于建模和定义SQL语句。这意味着，我们也可以使用eval来插入语句。以下命令用于在db数据库的employee表中插入新行。

$ sqoop eval \
--connect jdbc:mysql://localhost/db \
--username root \ 
-e “INSERT INTO employee VALUES(1207,‘Raju’,‘UI dev’,15000,‘TP’)”

如果该命令成功执行，则会在控制台上显示更新行的状态。

否则，您可以在MySQL控制台上验证雇员表。以下命令用于使用select'query来验证db数据库的employee表的行。

mysql>
mysql> use db;
mysql> SELECT * FROM employee;
+------+--------------+-------------+-------------------+--------+
| Id   | Name         | Designation | Salary            | Dept   |
+------+--------------+-------------+-------------------+--------+
| 1201 | gopal        | manager     | 50000             | TP     |
| 1202 | manisha      | preader     | 50000             | TP     |
| 1203 | khalil       | php dev     | 30000             | AC     |
| 1204 | prasanth     | php dev     | 30000             | AC     |
| 1205 | kranthi      | admin       | 20000             | TP     |
| 1206 | satish p     | grp des     | 20000             | GR     |
| 1207 | Raju         | UI dev      | 15000             | TP     |
+------+--------------+-------------+-------------------+--------+

7 列出数据库和表

 

本章介绍如何使用Sqoop列出数据库。Sqoop list-databases工具解析并执行针对数据库服务器的'SHOW DATABASES'查询。此后，它列出了服务器上的当前数据库。

语法

以下语法用于Sqoop list-databases命令。

$ sqoop list-databases (generic-args) (list-databases-args)

示例查询

以下命令用于列出MySQL数据库服务器中的所有数据库。

sqoop list-databases --connect jdbc:mysql://node0:3306 --username ambari --password 123

本章介绍如何使用Sqoop列出MySQL数据库服务器中特定数据库的表。Sqoop列表表工具解析并执行针对特定数据库的“SHOW TABLES”查询。此后，它列出了数据库中的当前表格。

语法

以下语法用于Sqoop list-tables命令。

$ sqoop list-tables (generic-args) (list-tables-args)

示例查询

以下命令用于列出MySQL数据库服务器的userdb数据库中的所有表。

sqoop list-tables  --connect jdbc:mysql://node0:3306/test --username ambari --password 123

参考文章：

https://blog.youkuaiyun.com/ancony_/article/details/80012908

【数据采集工具】Sqoop从入门到面试学习总结
不积跬步，无以至千里
10-14 1463
数据采集工具——Sqoop内容学习整理，如有错误，欢迎评论区交流指出。
硬核 | Sqoop入门指南
大数据梦想家
01-27 2286
前言         我们在日常开发中需要经常接触到关系型数据库，如MySQL，Oracle等等，用它们来将处理后的数据进行存储。为了能够在Hadoop上分析这些数据，我们需要一些“工具”，将关系型数据库中的结构化数据存储到HDFS上。本篇文章，菌哥将介绍的一个操作最简单，同时也是在工作中使用频率极高的开源组件——Sqoop，希望您能在耐心看完之后，有所收获！ Sqoop简介     &
sqoop执行一次操作eval
汪云辉的博客
06-14 684
sqoop eval -D oozie.job.id=$wf_job_id \ -D mapred.job.queue.name=$mapred_job_queue_name \ --connect $data_db_url \ --username $data_db_username
sqoop命令
zhang434的专栏
11-05 1062
Sqoop有较多的命令和参数,我这里从实践和源码的角度将他们一一整理出来,这里Sqoop版本是1.3         Sqoop大约有13种命令,和几种通用的参数(都支持这13种命令).这里先列出这13种命令.   序号 命令/command 类 说明 1 impor ImportTool 从关系型数据库中导入数据(来自表或者查询语句)到HDFS中
sqoop的eval工具使用
石榴姐yyds
05-30 2290
eval是sqoop提供的连接数据库的客户端工具。 使用eval来查询表 sqoop eval \ --connect jdbc:mysql://123.123.4.52:3306/linshi_1 \ --username root \ --password 1313134 \ --query "select * from e_board" 使用eval来插入删除数据 sqoop eval \ --connect jdbc:mysql://11.34.33.22:3306/linshi_1 \
黑猴子的家：Sqoop 命令&参数：eval
黑猴子的博客
09-09 581
可以快速的使用SQL语句对关系型数据库进行操作，经常用于在import数据之前，了解一下SQL语句是否正确，数据是否正常，并可以将结果显示在控制台。 1、案列 [victor@node1 sqoop-1.4.7]$ bin/sqoop eval \ --connect jdbc:mysql://node1:3306/company \ --username root \ --password...
Sqoop中import & export & job & eval与options-file
呼呼的小窝
10-19 5522
Sqoop中的import与export都是基于Hadoop而言的。在本篇文章中，将对Sqoop中的import与export进行详细介绍；同时对sqoop job的使用，eval与options-file的使用进行介绍Sqoop importSqoop import命令详解 如何查看帮助帮助文档 http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6
Sqoop 1.4.6 版本发布与安装指南
标题中的文件名“sqoop-1.4.6.bin__hadoop-1.0.0.tar.gz”涉及了两个重要的大数据处理工具：Sqoop和Hadoop。 1. **Sqoop** - Sqoop是一个开源的命令行工具，用于高效地在Hadoop和结构化数据存储系统（如关系数据库...
java连接sqoop源码-quick-sqoop:ApacheSqoopETL工具的快速参考
06-15
java连接sqoop源码Apache Sqoop 目录 #Getting Started下载并安装 Sqoop 注意：选择合适的版本，不要使用 ...注意：如果您觉得设置自己的集群很繁琐，请下载并使用并跳过设置部分，快速入门 vm 设置就像下载 v
sqoop入门
datiechui20的博客
12-27 2310
大数据技术之Sqoop   一、Sqoop简介 Sqoop是hdfs、hive、hbase和RDBMS结构化数据库之间传输大量数据的工具。 二、Sqoop原理 将导入或导出命令翻译成mapreduce程序来实现。 在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。 三、Sqoop安装 安装Sqoop的前提是已经具备Java和Hadoop
ETL工具Sqoop的入门学习(二）之eval语句使用以及import的增量导入。
Ganxiang
05-08 1487
ETL工具Sqoop的入门学习(二） 目录回顾1，eval语句-查询数据插入数据2，import的增量导入将数据增量从MySQL导入HDFS 回顾 对于sqoop将MySQL某一张表的全量导入hdfs上和hdfs上的数据全量导出到MySQL中的某一张表可查看这里ETL工具Sqoop的入门学习(一） 对数据来源感兴趣的伙伴可以参考这篇博客python 爬取应届生求职网中的求职信息并存入MySQL数据...
Sqoop操作实践
weixin_30823001的博客
01-12 190
Sqoop操作实践 @(Hadoop) Sqoop常用参命令 序号 命令/command 类 说明 1 impor ImportTool 从关系型数据库中导入数据(来自表或者查询语句)到HDFS中 2 export ExportTool 将HDFS中的数据导入到关系型数据库中 3 co...
Apache Sqoop 学习笔记
weixin_42060425的博客
06-25 360
Apache Sqoop 传统的应用程序管理系统，即应用程序与使用RDBMS的关系数据库的交互，是产生大数据的来源之一。这样的大数据由RDBMS生成，存储在关系数据库结构中的关系数据库服务器中。 当Hadoop生态系统中的MapReduce、Hive、HBase、Cassandra、Pig等大数据存储和分析工具出现时，它们需要一个工具来与关系数据库服务器交互，以便导入和导出驻留在其中的大数据。 此时，Sqoop在Hadoop生态系统中占有一席之地，它提供关系数据库服务器和Hadoop的HDFS之间可行的交互
20210126_sqoop学习笔记
yehaver的专栏
06-03 150
一、部分理论 sqoop:实现数据从数据库的导入导出 二、安装与配置 1.官网下载并解压。下载 1.4.6 。 1.4.7为测试版本 tar -xzvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz mv /root/sqoop-1.4.6.bin__hadoop-2.0.4-alpha /root/sqoop-1.4.6 mv /root/sqoop-1.4.6/conf/sqoop-env-template.sh /root/sqoop-1.4.6/conf/s
sqoop使用入门
WHATIFSO
12-01 4093
sqoop命令 1.codegen:将数据库表生成jar文件 sqoop/bin/sqoop codegen --connect jdbc:mysql://localhost:3306/test_sqoop --username root --password root --table book 该文件可通过mapreduce执行???未验证 2.eval:快速验证s
sqoop的--query工作中的实际的使用
热门推荐
allen的博客
10-10 1万+
需求： 有一个需求，就是需要从hive通过sqoop导数据回oracle，但是导入过程需要用另外一张表记录导入过程，比如导入的时间、导入是否准备中或者运行中、成功或者失败，因为别人需要通过这个标志来触发一些处理。这里就可以用shell脚本结合sqoop的–query来实现。其中IS_FLAG :1为准备中 2为运行中 0为完成 -1为异常出错失败#!/bin/bash source ExitCod
sqoop的eval工具
小哇
10-16 1273
eval像是一个数据库的客户端工具。 使用eval来查询表 sqoop eval \ --connect jdbc:mysql://123.123.4.52:3306/linshi_1 \ --username root \ --password 1313134 \ --query "select * from e_board" 使用eval来插入删除数据 sqoop eval \ -...
Sqoop的import和export工具的使用几种案例
DataFlow范式
05-25 1万+
Sqoop的import工具抽数的几种情况: 1. Hive表无分区，全量从Oracle中抽取数据到Hive的表中 sqoop import -D mapred.job.queue.name=root.myqueue    \ --connect jdbc:oracle:thin:@192.168.1.128:1521:mydatabase   \ --username jsz  
sqoop-1.4.6使用指南
wonder的地下室
09-13 3840
1. sqoop-1.4.6.jar第一步先将sqoop jar包拷贝至Hadoop的mapreduce目录下：cp $SQOOP_HOME/sqoop-1.4.6.jar $HADOOP/share/hadoop/mapreduce/2. JDBC jar包第二步将Oracle和MySQL分别需要用到的jar包拷贝至$SQOOP_HOME/lib下cp ojdbc6.jar $SQOOP_HOM
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值