sqoop常用功能的使用

最新推荐文章于 2025-04-10 22:04:06 发布
最新推荐文章于 2025-04-10 22:04:06 发布
阅读量415 收藏 1
点赞数 1
分类专栏： hadoop 文章标签： sqoop hive mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/huaziran/article/details/121809308
版权
这篇博客介绍了如何在Linux环境下使用Sqoop进行数据迁移，包括MySQL到HDFS、HDFS到MySQL、MySQL到Hive、Hive到MySQL的数据互导操作。详细阐述了每个步骤的命令执行和注意事项，如IP地址和目录的修改，以及解决可能出现的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前提条件：
安装好hadoop2.7.3（Linux系统下）

安装好sqoop（Linux系统下），参考：Sqoop安装配置

安装好MySQL(Windows系统下或者Linux系统下)

安装好Hive（Linux系统下）参考：Hive安装配置

安装好HBase（Linux系统下）参考：HBase1.3.1安装配置 HBase常用shell命令

题目：

一.MySQL与HDFS数据互导（相互导入导出）

二.MySQL与Hive数据互导

三.MySQL与HBase数据互导

实验步骤：

数据准备

进入mysql

mysql -uroot -p123456

在这里插入图片描述

创建一个名为ua1的数据库

create database ua1;

使用ua1数据库

 use ua1;

在这里插入图片描述

准备mysql数据：EMP表和DEPT表

-- 创建EMP表
CREATE TABLE IF NOT EXISTS `EMP`(
   `empno` INT,
   `ename` VARCHAR(10),
   `job` VARCHAR(9),
   `mgr` int,
   `hiredate` date,
   `sal` int,
   `comm` int,
   `deptno` int,
   PRIMARY KEY ( `empno` )
)ENGINE=InnoDB DEFAULT CHARSET=utf8;

-- 插入数据到EMP表
INSERT INTO `EMP` (`empno`, `ename`, `job`, `mgr`, `hiredate`, `sal`, `comm`, `deptno`) VALUES (7369, 'SMITH', 'CLERK', 7902, '1980-12-17', 800, NULL, 20);
INSERT INTO `EMP` (`empno`, `ename`, `job`, `mgr`, `hiredate`, `sal`, `comm`, `deptno`) VALUES (7499, 'ALLEN', 'SALESMAN', 7698, '1981-2-20', 1600, 300, 30);
INSERT INTO `EMP` (`empno`, `ename`, `job`, `mgr`, `hiredate`, `sal`, `comm`, `deptno`) VALUES (7521, 'WARD', 'SALESMAN', 7698, '1981-2-22', 1250, 500, 30);
INSERT INTO `EMP` (`empno`, `ename`, `job`, `mgr`, `hiredate`, `sal`, `comm`, `deptno`) VALUES (7566, 'JONES', 'MANAGER', 7839, '1981-4-2', 2975, NULL, 20);
INSERT INTO `EMP` (`empno`, `ename`, `job`, `mgr`, `hiredate`, `sal`, `comm`, `deptno`) VALUES (7654, 'MARTIN', 'SALESMAN', 7698, '1981-9-28', 1250, 1400, 30);
INSERT INTO `EMP` (`empno`, `ename`, `job`, `mgr`, `hiredate`, `sal`, `comm`, `deptno`) VALUES (7698, 'BLAKE', 'MANAGER', 7839, '1981-5-1', 2850, NULL, 30);
INSERT INTO `EMP` (`empno`, `ename`, `job`, `mgr`, `hiredate`, `sal`, `comm`, `deptno`) VALUES (7782, 'CLARK', 'MANAGER', 7839, '1981-6-9', 2450, NULL, 10);
INSERT INTO `EMP` (`empno`, `ename`, `job`, `mgr`, `hiredate`, `sal`, `comm`, `deptno`) VALUES (7788, 'SCOTT', 'ANALYST', 7566, '1987-4-19', 3000, NULL, 20);
INSERT INTO `EMP` (`empno`, `ename`, `job`, `mgr`, `hiredate`, `sal`, `comm`, `deptno`) VALUES (7839, 'KING', 'PRESIDENT', NULL, '1981-11-17', 5000, NULL, 10);
INSERT INTO `EMP` (`empno`, `ename`, `job`, `mgr`, `hiredate`, `sal`, `comm`, `deptno`) VALUES (7844, 'TURNER', 'SALESMAN', 7698, '1981-9-8', 1500, NULL, 30);
INSERT INTO `EMP` (`empno`, `ename`, `job`, `mgr`, `hiredate`, `sal`, `comm`, `deptno`) VALUES (7876, 'ADAMS', 'CLERK', 7788, '1987-5-23', 1100, NULL, 20);
INSERT INTO `EMP` (`empno`, `ename`, `job`, `mgr`, `hiredate`, `sal`, `comm`, `deptno`) VALUES (7900, 'JAMES', 'CLERK', 7698, '1981-12-3', 950, NULL, 30);
INSERT INTO `EMP` (`empno`, `ename`, `job`, `mgr`, `hiredate`, `sal`, `comm`, `deptno`) VALUES (7902, 'FORD', 'ANALYST', 7566, '1981-12-3', 3000, NULL, 20);
INSERT INTO `EMP` (`empno`, `ename`, `job`, `mgr`, `hiredate`, `sal`, `comm`, `deptno`) VALUES (7934, 'MILLER', 'CLERK', 7782, '1982-1-23', 1300, NULL, 10);

-- 创建DEPT表
CREATE TABLE IF NOT EXISTS `DEPT`(
   `deptno` INT,
   `dname` VARCHAR(14),
   `loc` VARCHAR(13)
)ENGINE=InnoDB DEFAULT CHARSET=utf8;
-- 插入数据到DEPT表
INSERT INTO `DEPT` (`deptno`, `dname`, `loc`) VALUES (10, 'ACCOUNTING', 'NEW YORK');
INSERT INTO `DEPT` (`deptno`, `dname`, `loc`) VALUES (20, 'RESEARCH', 'DALLAS');
INSERT INTO `DEPT` (`deptno`, `dname`, `loc`) VALUES (30, 'SALES', 'CHICAGO');
INSERT INTO `DEPT` (`deptno`, `dname`, `loc`) VALUES (40, 'OPERATIONS', 'BOSTON');

可依次执行以上命令，也可以复制到Navicat直接执行
在这里插入图片描述
Navicat查看EMP表和DEPT表
在这里插入图片描述

在这里插入图片描述
或者命令查询

 select * from EMP;

在这里插入图片描述

select * from DEPT;

在这里插入图片描述

一.MySQL与HDFS数据互导

  1. MySQL —导入到–> HDFS
sqoop import --connect jdbc:mysql://10.90.26.101:3306/ua1 --username root -P --table EMP  -target-dir  /user/ua02/zhangsan -m 1

注意：

10.90.26.101为登录的IP, 注意修改！

/user/ua02/zhangsan 其中ua02为用户名，注意修改，zhangsan为目录名，可自定义。

回车执行后需要输入mysql数据库密码
在这里插入图片描述

在这里插入图片描述

打开新的终端，查看HDFS数据

 hdfs dfs -ls /user/ua02/zhangsan

ua02为用户名，注意按实际修改
在这里插入图片描述

hdfs dfs -cat /user/ua02/zhangsan/part-m-00000

在这里插入图片描述

2. HDFS—导出到–> MySQL

在MySQL新建一张表：EMP_HDFS_zhangsan

create table EMP_HDFS_zhangsan like EMP;

like EMP解释：代表创建一个和ENP一样格式的表，不含数据，
在这里插入图片描述

执行导出语句

sqoop export --connect jdbc:mysql://10.90.26.101:3306/ua1 --table EMP_HDFS_zhangsan --export-dir /user/ua02/zhangsan/part-m-00000  --username ua1  -P  -m 1

注意：

10.90.26.101为登录的IP, 注意修改！

/user/ua02/zhangsan 其中ua02为用户名，zhangsan为原来导入到HDFS的目录，注意修改。

回车执行后需要输入mysql数据库密码
在这里插入图片描述
mysql中查看数据是否导入成功

 select * from EMP_HDFS_zhangsan;

在这里插入图片描述

二.MySQL与Hive数据互导

  1. MySQL—导入到–>Hive

执行导入到Hive命令

在此之前先执行

cp $HIVE_HOME/lib/derby-10.10.2.0.jar $SQOOP_HOME/lib


cp $HIVE_HOME/lib/hive-common-2.3.6.jar $SQOOP_HOME/lib

在导入，不然会出现下面错误

 sqoop import --connect jdbc:mysql://10.90.26.101:3306/ua1  --username root --password 123456 --table EMP --fields-terminated-by '\t' --num-mappers 1  --hive-database default --hive-import --hive-table hive_zhangsan

sqoop import --connect jdbc:mysql://47.108.191.195:3306/ua1 --username root -password wangge --table EMP --fields-terminated-by '\t' --num-mappers 1 --hive-database default --hive-import --hive-table hive_crazywang

sqoop import --connect jdbc:mysql://47.108.191.195:3306/ua1 --username root -password wangge --table EMP_HDFS_crazywang --fields-terminated-by '\t' --num-mappers 1 --hive-database default --hive-import --hive-table hive_crazywang

注意：

ua1为mysql的数据库名

hive_zhangsan为导入到Hive的表名，为了不冲突，建议取带有学号的表名，例如：hive_zhangsan001 ，Hive的表名对大小写不敏感。

若出现如下报错：

ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.

在这里插入图片描述

解决办法：点这里解决sqoop报错问题

成功截图
在这里插入图片描述

进入hive环境

 hive

 use default;

在这里插入图片描述

查看hive的表

show tables;

找到导入的表名：
在这里插入图片描述

查看表内容：

select * from hive_zhangsan;

在这里插入图片描述

2. Hive—导出到–> MySQL

在mysql新建一张EMP_from_hive001表，用于接收数据

 create table EMP_from_hive001 like EMP;

在这里插入图片描述

查看hive表存储路径

 show create table hive_zhangsan;

在这里插入图片描述
hive_zhangsan为hive表名，注意修改。

复制出hive表存储路径：

/apps/hive/warehouse/hive_zhangsan

每个人的都不一样

/user/hive/warehouse/hive_crazywang

执行导出语句：

sqoop export --connect jdbc:mysql://10.90.26.101:3306/ua1 --username ua1 -P --table  EMP_from_hive001 --export-dir /apps/hive/warehouse/hive_zhangsan/part-m-00000 --input-fields-terminated-by '\t'

这是我的
在这里插入图片描述

执行完成
在这里插入图片描述

查看MySQL表内容：

select * from EMP_WANG;

在这里插入图片描述

三.MySQL与HBase数据互导

  1. MySQL —导入到–> HBase

进入hbase shell环境

 hbase shell

在这里插入图片描述

在hbase中创建一个空表

create 'EMP_HBASE_WANG',{NAME => 'EMPINFO',VERSIONS => 5}

在这里插入图片描述
查看表

list

在这里插入图片描述

执行导入语句

sqoop import --connect jdbc:mysql://10.90.26.101:3306/ua1 --username ua1 --password ua1 --table EMP --hbase-table EMP_HBASE --column-family EMPINFO  --hbase-row-key empno

我的语句
在这里插入图片描述
查看EMP_HBASE表内容：

scan 'EMP_HBASE_WANG'

在这里插入图片描述

  1. HBase—导出到–> MySQL

目前没有命令可以直接将 hbase 中的数据导出到 mysql。解决思路hbase–>HDFS–>mysql或hbase–>hive–>mysql。

参考链接

【sqoop】sqoop概念，功能，架构，版本
九师兄
04-25 1692
是什么？ 　　Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 解决什么问题？ hbase,hive ⇒ 关系型...
一、Sqoop常用的关系型数据库导入与导出
XuanAlex的博客
03-13 499
一、Sqoop常用的关系型数据库导入与导出一、简介二、sqoop-import命令使用2.1、Sqoop查看关系型数据库信息2.2、关系型数据库数据导入到HDFS上2.3、关系型数据库数据导入到Hive上三、sqoop-export命令使用3.1、全量导出HDFS数据到MySQL3.2、导出HDFS数据到MySQL关于参数‘--update-mode’的应用四、sqoop-job命令使用4.1 创建Job任务 以下是本篇文章正文内容，如有错误麻烦请指出。 谢谢 ！！！ 一、简介 Sqoop是一个.
【Hadoop入门】Hadoop生态之Sqoop简介
最新发布
IT成长日记的博客
04-10 764
在企业的数据架构中，关系型数据库与Hadoop生态系统之间的数据流动是常见且关键的需求。Apache Sqoop（SQL-to-Hadoop）正是为解决这一问题而生的高效工具，它专门用于在结构化数据存储（如RDBMS）和Hadoop生态系统（如HDFS、Hive、HBase）之间。
Sqoop的作用是什么？
全栈开发
04-23 1568
Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。将一个关系型数据库（for example ：MySQL，Oracle ,Postgre等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。sqoop是一款开源的工具，主要用于在hadoop（Hive）与传统的数据库（mysql、postgresql…）间进行数据的传递，可以。
Sqoop架构以及应用介绍
weixin_30258027的博客
04-24 172
本篇文章在具体介绍Sqoop之前，先给大家用一个流程图介绍Hadoop业务的开发流程以及Sqoop在业务当中的实际地位。如上图所示：在实际的业务当中，我们首先对原始数据集通过MapReduce进行数据清洗，然后将清洗后的数据存入到Hbase数据库中，而后通过数据仓库Hive对Hbase中的数据进行统计与分析，分析之后将分析结果存入到Hive表中，然后通过Sqoop这个工具将我们的数据挖掘结果导...
Sqoop相关功能操作示例
GYT0313
12-14 848
安装Sqoop：https://blog.youkuaiyun.com/qq_38038143/article/details/84728024 1.查看sqoop命令帮助 hadoop@master:~$ sqoop help 18/12/05 17:40:01 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7 usage: sqoop COMMAND [ARGS...
sqoop常用命令.xlsx
01-15
sqoop的常用指令操作
sqoop 使用手册
04-03
三、Sqoop 常用命令及选项 1. `import` 命令：用于从 RDBMS 导入数据。例如： ``` sqoop import --connect jdbc:mysql://localhost/testdb --table employees --username root --password hadoop --target-dir /...
sqoop使用指南
03-11
### Sqoop 使用指南 #### 一、概述 Apache Sqoop 是一个开源工具，主要用于在 Hadoop 和关系数据库服务器之间高效地传输数据。该工具利用 MapReduce 的并行处理能力来加速数据传输，并确保数据传输过程中的容错性...
sqoop安装与使用
07-24
### Sqoop 安装与使用详解 #### 一、Sqoop功能概述 Sqoop是一款用于在Hadoop和关系型...以上介绍了如何安装和使用Sqoop的基本流程及常用命令，通过这些命令可以帮助用户轻松地在Hadoop与关系型数据库之间迁移数据。
sqoop connect sqlserver driver
01-06
sqoop连接sqlserver的驱动工具，没有这个sqoop是连不上滴
Sqoop使用与原理
Markble
08-23 4906
目录 一、概述 二、工作机制 1、导入 2、导出 三、安装 1、前提概述 2、软件下载 3、安装步骤 4、 修改配置文件 5、拷贝JDBC驱动 6、配置系统环境变量 7、验证安装是否成功 8、测试Sqoop是否能够成功连接数据库 四、Sqoop的基本命令 基本操作 五、Sqoop的数据导入 1、从RDBMS导入到HDFS中 2、把MySQL数据库中的表数据导入到Hive中 3、把MySQL数据库中的表数据导入到hbase 一、概述 sqoop 是 apache 旗.
mysql的sqoop组件_sqoop组件的安装与使用
weixin_36160690的博客
01-19 124
一、sqoop安装安装sqoop的前提是已经具备java和hadoop的环境1、下载并解压最新版下载地址http://ftp.wayne.edu/apache/sqoop/1.4.6/2、修改配置文件$ cd sqoop/conf(默认将sqoop解压到当前目录下)$ mv sqoop-env-template.sh sqoop-env.sh打开sqoop-env.sh并编辑下面几行：export...
sqoop应用及介绍
qq_33265875的博客
12-28 460
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle…)之间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署...
Sqoop 实际应用及样例
Levin的技术工厂
09-26 552
Sqoop 实际应用及自定query导出前置条件 已经成功安装配置Hadoop以及Sqoop和Mysql数据库服务器，如果将数据导入或从Hbase导出，还应该已经成功安装配置Hbase。 示例如何将Oracle中的数据导出到Hdfs中,query参数中为导出的查询sql，如查询语句中有where 条件则最后追加 and \$CONDITIONS nohup /home/hadoop/sqoop/
大数据开发之传输组件Sqoop的功能介绍
m0_58371965的博客
12-10 780
01Sqoop介绍 Sqoop是Apache开源的一款工具，主要是针对关系型数据库与Hadoop集群之间的数据传输。它可以将关系型数据库中的数据导入至Hadoop集群中(即：导入至Hdfs)。也大数据培训可以将Hadoop集群（HDFS）中数据导出至关系型数据库中。Sqoop就是一款ETL工具，它具有高效和大批量数据传输的特性。同时原生Sqoop都是采用指令形式提交和触发任务。小伙伴们是不是有淡淡的忧伤，又是指令的方式操作。所以学好指令也很重要哦。 02Sqoop功能介绍 sqoop本身...
大数据技术之Sqoop——SQL to Hadoop
five小点心的博客
03-14 2116
sqoop （sql to hadoop）是一款开源的工具,主要用于在 Hadoop（Hive）与传统的数据库（mysql、postgresql...）间进行数据的传递，可以将一个关系型数据库（例如 : MSQL,Oracle,Postgres 等）中的数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。
Sqoop使用手册：数据导入导出指南
如果需要经常性地更新数据，可以使用Sqoop的增量导入功能，这样只需传输自上次导入以来发生变化的数据。 ### 结语 Sqoop作为连接关系数据库和Hadoop生态系统的重要桥梁，其重要性不容小觑。通过上述介绍，您应该...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值