Sqoop的数据导入&导出

使用sqoop将HDFS数据导出到RDBMS,map100%reduce0%问题 阅读详情

Sqoop的数据导入、导出

sqoop导入

  • 就是从关系型数据库(mysql)的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中。
1 语法
$ sqoop import (generic-args) (import-args) 
2 案例

测试之前先在mysql中准备数据:

create database sqoop;   --创建名为sqoop的数据库

use sqoop;				--切换到sqoop数据库

create table employee(	  --创建一个名为employee的表
id int not null primary key auto_increment,
name varchar(20),
birthday date
);

insert into employee values ('','张三','2016-01-01');
insert into employee values ('','张四','2016-01-01');
insert into employee values ('','张五','2016-01-01');
insert into employee values ('','张6','2016-01-01');
insert into employee values ('','张7','2016-01-01');
insert into employee values ('','张8','2016-01-01');
insert into employee values ('','张9','2016-01-01');
insert into employee values ('','张10','2016-01-01');
insert into employee values ('','张11','2016-01-01');
insert into employee values ('','张12','2016-01-01');
insert into employee values ('','张13','2016-01-01');
insert into employee values ('','张14','2016-01-01');
insert into employee values ('','zhangsan','2016-01-01');
  • 导入表数据到hdfs中

  • 创建sqoop

    #sqoop的命令只能在行,如果换行则需要使用 \
    sqoop job --delete sqoopone \
    sqoop job --create sqoopone \
    import \
    --connect jdbc:mysql://localhost:3306/sqoop \
    --username root \
    --password root \
    --table employee \     #mysql的表名
    --target-dir /luodesong 	   #/sqfs  表示导入的数据保存在hadoop的路径
    --m 1  #表示启动mr的数量
    

    上述语句如果没有指定保存到HDFS到哪里(target-dir),默认保存在/user/hadoop/employee/路径下

    ​

  • 如果成功执行,那么会得到下面的输出

    14/12/22 15:24:54 INFO sqoop.Sqoop: Running Sqoop version: 1.4.5
    14/12/22 15:24:56 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
    INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-hadoop/compile/cebe706d23ebb1fd99c1f063ad51ebd7/emp.jar
    -----------------------------------------------------
    O mapreduce.Job: map 0% reduce 0%
    14/12/22 15:28:08 INFO mapreduce.Job: map 100% reduce 0%
    14/12/22 15:28:16 INFO mapreduce.Job: Job job_1419242001831_0001 completed successfully
    -----------------------------------------------------
    -----------------------------------------------------
    14/12/22 15:28:17 INFO mapreduce.ImportJobBase: Transferred 145 bytes in 177.5849 seconds (0.8165 bytes/sec)
    14/12/22 15:28:17 INFO mapreduce.ImportJobBase: Retrieved 5 records.
    

    ​

  • 为了验证在HDFS导入的数据,请使用以下命令查看导入的数据

    hadoop fs -cat /luodesong/employee/part-m-00000
    

    ​

  • 导入表数据到hive中

    sqoop job --delete sqoopotow \
    sqoop job --create sqooptow \
    import \
    --connect jdbc:mysql://localhost:3306/sqoop \
    --username root \
    --password root \
    --table employee \
    --hive-import \			#这句是关键语句
    --m 1
    
  • 导入表数据子集

    我们使用Sqoop导入工具时,可以导入"where"子句的一个子集。它执行在各自的数据库服务器相应的SQL查询,并将结果存储在HDFS的目标目录。​

    导入id值大于5的记录

    sqoop job --delete sqoopthree \
    sqoop job --create sqoopthree \
    import \
    --connect jdbc:mysql://localhost:3306/sqoop \
    --username root \
    --password root \
    --where "id >5" \
    --target-dir /wherequery \
    --table employee 
    --m 1
    
  • 增量导入

    增量导入是仅导入新添加的表中的行的技术

    它需要添加‘incremental’,‘check-column’, 和 ‘last-value’选项来执行增量导入。下面的语法用于Sqoop导入命令增量选项。

    --incremental <mode>
    --check-column <column name>
    --last value <last check column value>
    ```​
    
    
  • 假设新添加的数据转换成employee表如下

    insert into employee values ('','张100','2018-03-03');
    ```​
    
    
  • 下面的命令用于在employee表执行增量导入。

    sqoop job --delete sqoopfour \
    sqoop job --create sqoopfour \
    import \
    --connect jdbc:mysql://localhost:3306/sqoop \
    --username root \
    --password root \
    --table employee 
    --m 1 \
    --incremental append \
    --check-column id \  #根据id判定一条记录
    --last-value 12    #从哪条记录以后的内容导入
    

    ​

Sqoop的数据导出

就是从 Hadoop 系统里抽取并导出到关系型数据库里。

1 语法
$ sqoop export (generic-args) (export-args) 
2 案例

-从hdfs中导入到mysql

  • 数据是在HDFS 中“employee/”目录的emp_data文件中。所述emp_data如下:

    1,张三,2016-01-01
    2,张四,2016-01-01
    3,张五,2016-01-01
    4,张6,2016-01-01
    5,张7,2016-01-01
    6,张8,2016-01-01
    

    ​

  • 首先需要手动创建mysql中的目标表

    mysql> USE sqoop2;
    mysql> CREATE TABLE employee ( 
       id INT NOT NULL PRIMARY KEY, 
       name VARCHAR(20), 
       birthday date);
    

    ​

  • 然后执行导出命令

    sqoop job --delete sqoopfive \
    sqoop job --create sqoopfive \
    export \
    --connect jdbc:mysql://localhost:3306/sqoop2 \
    --username root \
    --password root \
    --table employee \
    --export-dir /employee/
    

sqoop的执行job的命令

  • 执行job
sqoop job --exec jobname
ETL的使用(sqoop):数据导入,导出 ETLETL: 是数据抽取(Extract)、数据转换(Transform)和数据加载(Load)的整个过程常用的ETL工具1.Apache Sqoop 是 Apache 软件基金会旗下的一个开源项目,旨在帮助用户高效地在 Hadoop 生态系统和关系型数据库之间传输大量数据2.可以将数据在关系型数据库(如MySQL、Oracle、PostgreSQL等)和 Hadoop生态系统(如HDFS、Hive、HBase等)中进行迁移sqoop官网更多内容,阅读文档Kettle。 阅读详情

相关推荐

大数据组件工具——数据导入导出 Sqoop

Sqoop是一款Apache旗下的ETL工具,主要用于Hadoop与关系型数据库之间的数据传输。它能将MySQL、Oracle等数据导入HDFS、Hive、HBase,或将Hadoop数据导出到关系库。Sqoop通过将命令翻译为MapReduce任务实现数据传输,并定制化InputFormat和OutputFormat。Sqoop1采用客户端直接提交方式,而Sqoop2引入集中化管理的Server端,支持REST API和WebUI,安全性更高。安装需配置环境变量、依赖库及Hadoop组件路径。常用操作包括

yangwei2048的博客 2599

使用sqoop将数据从hdfs中导入mysql时,卡在INFO mapreduce.Job: map 100% reduce 0%的解决办法

最近在将hdfs中已经处理好的数据导入到mysql的时候遇到这么一个现象,当任务执行到 INFO mapreduce.Job: map 100% reduce 0% mapreduce任务卡在map100% ,任何reduce不继续执行。 总结了以下解决办法: 一,如果没有报错的话,可能是你mysql的数据库建表指定的主键不全,导致导入一部分数据后,主键出现相同字段,那么就造成阻塞了

香菇的博客 8486

SQOOP数据导入

sqoop是一个用于在Hadoop和关系型数据库(Oracle,Mysql...)间数据传递的开源工具。下面以Oracle为例,介绍使用sqoop将数据从Oracle导入到Hadoop中(HDFS、Hive和HBase)。

zleven的博客 1万+

sqoop export导出 map100% reduce0% 卡住的多种原因

我称这种bug是一个典型的“哈姆雷特”bug,就是指那种,报错情况相同但网上却会有各种五花缭乱解决办法的bug,让我们不知道哪一个才是症结所在。 先看导入命令: [root@host25 ~]# sqoop export --connect "jdbc:mysql://172.16.xxx.xxx:3306/dbname?useUnicode=true&amp;characterEncoding...

IKnowNothinglee的博客 4841

sqoop与hbase导入导出数据

环境:sqoop1.4.6+hadoop2.6+hbase1.1+mysql5.7 说明: 1.文中的导入导出的表结构借鉴了网上的某篇博客 2.mysql导入hbase可以直接通过sqoop进行 3.hbase导出到mysql无法直接进行,需要经过hive的中间作用来完成 hbase→hive外部表→hive内部表→sqoop导出→mysql一、Sqoop导入hbasea) Mysql创建

亡羊补牢 9994

Sqoop介绍、安装部署及MySql与HDFS数据之间的导入导出

本博客的学习目标:了解Sqoop是什么,能做什么以及架构能够进行Sqoop环境部署      MySql&amp;lt;=&amp;gt;HDFS数据的导入导出准备工作:Hadoop伪分布式集群环境:https://blog.youkuaiyun.com/qq_32297447/article/details/79734894CentOS7下安装配置Mysql:https://blog.youkuaiyun.com/qq_3229744...

OnTheRoad的博客 1万+

sqoop导hive数据到mysql卡死在INFO mapreduce.Job: map 100% reduce 0%

       用sqoop将hive里面的数据导出到mysql里去,一种情况是mapreduce 程序卡住,INFO mapreduce.Job: map 100% reduce 0%       另一种情况是:报这个错误:java.sql.SQLException: Incorrect string value: '\xF0\x9F\x90\xBB' for column       经...

大黄_sama 3221

Sqoop导入导出Hive示例

Sqoop是连接传统关系型数据库和Hadoop的桥梁。把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS、HBase 和 Hive) 中;把数据从 Hadoop 系统里抽取并导出到关系型数据库。利用MapReduce,批处理方式进行数据传输。 本篇文章主要是根据Sqoop导入导出到Hive的实际示例,对Sqoop中的import与export进行简要介绍: ===========...

super_tianxinmomo的博客 1826

sqoop导出到mysql卡住_Sqoop导出的时候一直卡在map100%

最近最近使用sqoop导出的时候也就是export的时候,主要作用是用sqoop将hive中的数据导出到MySQL中。实际上就是将hdfs的数据导出到mysql中。就是这么一个小操作就一直卡在map的100%,就很难受。卡在map的百分之百就上网找,各种各样的,但是还是不对,太难受了。经过漫长的挣扎,总算找到了问题所在。而且还是一个非常小的问题,可能写出来,大家都觉得很白痴的一错误,就很难受哟。先...

weixin_39606118的博客 963

从MCU到MPU:瑞萨RZN2L上手初体验,给Cortex-M工程师的Cortex-R52入门避坑指南

本文详细介绍了从MCU到MPU的过渡经验,特别是瑞萨RZN2L开发板的实战避坑指南。针对Cortex-M工程师转向Cortex-R52内核的挑战,文章深入解析了启动流程、内存管理、中断响应等九大本质差异,并提供了硬件设计陷阱和软件迁移的实用技巧,帮助开发者快速适应MPU开发环境。

weixin_29158413的博客 258

保姆级教程:在Ubuntu 22.04上用Conda搞定nuPlan数据集环境(Python 3.9 + PyTorch)

本文提供了一份详细的Ubuntu 22.04环境下使用Conda配置nuPlan自动驾驶数据集的保姆级教程,涵盖Python 3.9安装、Conda环境管理、PyTorch配置及数据集可视化验证等关键步骤,帮助开发者高效搭建开发环境。

weixin_29061997的博客 257

Sqoop安装配置及数据导入导出操作

Sqoop安装配置及数据导入导出操作 (1)掌握Sqoop的安装配置,能够独立完成在虚拟机中安装配置Sqoop; (2)掌握Sqoop数据的导入,能够独立完成数据导入的操作; (3)掌握Sqoop数据的导出,能够独立完成数据导出的操作。

zhangfujie2627的博客 1868

Windows打印体系结构之Windows内置打印驱动程序

时间是一种很残酷的东西,它只会冲淡能够冲淡的,但也会洗尽铅华帮你留下该留下的。1.3.4、Windows内置打印驱动程序现在的Windows下的打印机驱动程序通常分为V4打印机驱动程序(V4 Printer Driver)、XPS打印机驱动程序(XPSDrv)、微软通用打印机驱动程序(Microsoft UniversalPrinter Driver)、微软PostScri...

weixin_34309435的博客 2254

sqoop详细导入导出数据步骤

前面已经给大家讲过sqoop的安装,如果还没有安装的可以再去看看详细安装流程: sqoop详细安装与环境配置 sqoop的作用前面也说过主要用于做数据迁移,它用于从关系数据库(如MySQL,Oracle)导入数据到Hadoop HDFS,并从Hadoop文件系统导出到关系数据库的互相导入。 Sqoop功能 将关系型数据库数据导入HDFS,解决HDFS的数据来源问题,使数据能够方便地进入HDFS。 支持HDFS数据导出到关系型数据库,Hadoop计算出的数据可以方便地写回到数据库中。 支持关系型数据库直接将

zp17834994071的博客 8332

C#+Winform+OpenCvSharp实战:5步搞定工业视觉检测框架(附源码下载)

本文详细介绍了如何使用C#、Winform和OpenCvSharp构建工业视觉检测框架,通过5个关键步骤实现高效、稳定的视觉检测系统。内容涵盖环境配置、相机集成、核心算法实现、系统集成与通信,以及部署优化,帮助开发者快速掌握工业视觉检测技术,提升检测精度和效率。附完整源码下载,助力工业数字化转型。

pz89012345的博客 551

深入解析安卓性能分析工具systrace/atrace的使用技巧与实战场景

本文深入解析了安卓性能分析工具systrace/atrace的核心使用技巧与实战场景。文章澄清了环境搭建的常见误区,详细拆解了命令参数,并通过列表卡顿、启动优化等具体案例,手把手指导开发者利用这些工具精准定位性能瓶颈,提升应用流畅度。

yyy34的博客 243

Sqoop导入与导出数据

1、Sqoop部署 基础环境:hadoop完全分布式集群、hive、zookeeper、hbase 1.1、下载安装包 官网下载安装包:官网链接地址 将下载好的安装包上传至Linux,解压并修改名称 1.2、修改配置文件 进入Sqoop的conf目录下 复制文件并重命名 cp sqoop-env-template.sh sqoop-env.sh 修改sqoop-env.sh文件,并添加如下内容,具体路径应灵活修改 export HADOOP_COMMON_HOME=/usr/local/soft/hado

m0_51691291的博客 5483

网络变更:APIC 节点替换

Fabric Name,Controller ID,TEP Address Pool 等信息必须相同;如果故障设备是 APIC1 还需要重新配置管理密码。此过程可能需要 10 分钟左右,在此期间目标 APIC 可能在 Available/Unavailable 状态翻滚。APIC 获取 TEP 地址后,进入 fully-fit。通过 CLI 以及配置的密码登录目标 APIC。

m0_54931486的博客 323

Sqoop快速入门系列(2) | Sqoop数据导入与导出

  此篇为大家带来的是Sqoop数据导入与导出。 目录一. 导入数据1. RDBMS到HDFS2. RDBMS到Hive3. RDBMS到Hbase二. 导出数据HIVE/HDFS到RDBMS三. 脚本打包 一. 导入数据   在Sqoop中,“导入”概念指:从非大数据集群(RDBMS)向大数据集群(HDFS,HIVE,HBASE)中传输数据,叫做:导入,即使用import关键字。 1. RDBMS到HDFS 确定Mysql服务开启正常 [bigdata@hadoop002 sqoop]$ mysql

不温卜火 6615

Sigrity System Explorer Transient Analysis模式进行瞬态仿真分析操作指导-单端信号-串联端接

Sigrity System Explorer Transient Analysis模式可以用于瞬态仿真分析,通过搭建简易拓扑用于前仿真分析通道的时域性能,下面搭建一个简易的单端拓扑并且进行串联端接,以下图为例,准备好发送接收端的IBIS模型, (se_example.ibs,本例发送接收端都使用相同的IBIS模型),以及传输线的S参数模型(W1_welement_se.sp)最上方的图形界面是传输线的模型,本例是一个上下都有参考平面的带状线,右侧的梯形是蚀刻角度,根据W1和W2以及铜厚来确定。

weixin_54787054的博客 339

Android 13.0 Launcher3中去掉Hotseat功能实现

在13.0系统产品定制化开发中,在Launcher3的定制化需求也是特别多的,由产品是小屏幕的产品,所以产品需求Launcher3 页面布局的原因,要求Launcher3 需要去掉Hotseat 不显示Hotseat下面几个图标,而做满屏app的显示,从而达到美观的效果,下面就来分析去掉Hotseat从而实现这个功能

安卓兼职framework和app工程师的博客 1330

【头歌】Sqoop数据导出 - 详解

【主要内容】Sqoop数据导出语法学习;HDFS数据导出至Mysql内;Hive数据导出至MySQL中。 【实践内容】Sqoop数据导出语法实践与详解。

梦想编程家博客 9256

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Sqoop导入导出过程原理

一、导入过程        Sqoop是通过MapReduce作业进行导入工作,在作业中,会从表中读取一行行记录,然后将其写入HDFS        在开始导入之前,Sqoop会通过JDBC来获得所需要的数据库元数据,例如,导入表的列名,数据类型等(第一步);接着这些数据库的数据类型(varchar,number等)会被映射成java类型(String,int等),根据这些信息,Sqoop会生...

qq_43193797的博客 6105

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

Sqoop快速入门【导入数据到HDFS与导出数据到数据库】

1、Sqoop概述 Sqoop - “SQL到Hadoop和Hadoop到SQL” sqoop是apache旗下一款"Hadoop和关系数据库服务器之间传送数据"的工具。 导入数据:MySQL,Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统; 导出数据:从Hadoop的文件系统中导出数据到关系数据库mysql等。 2、工作机制 将导入或导出命...

zp的博客 5487

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

Sqoop操作 导入与导出

是一个用于在和之间高效传输数据的工具。它支持从关系型数据库(如 MySQL、Oracle、PostgreSQL 等)导入数据到 Hadoop 的 HDFS、Hive 或 HBase 中,同时也支持从 Hadoop 导出数据到关系型数据库。

2302_81096429的博客 1720

Sqoop MySQL hive 数据库导入导出数据

1.导入(从mysql导入hive) 场景:从一个mysql数据库的表中导入数据到hive表中 sqoop import \ --connect "jdbc:mysql://ip:3306/mysql库名" \ (指定连接jdbc端口和数据库名称) --username "root" \ (数据库用户名) --password "root123" \ (密码 若不适用明文指定数据库密码 则可以用-P) --table "user" \ (指定数据库中的一张表) --targ

qq_41495340的博客 2450
上一篇: flume原理
下一篇: Spark集群上跑wordcount
lds_include
博客等级 码龄11年 40粉丝 97原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值