数据同步_Sqoop

已于 2025-03-31 16:00:23 修改
阅读量96 收藏 1
点赞数
分类专栏： 数据开发工具 文章标签： sqoop hadoop hdfs
于 2023-03-26 23:47:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43875878/article/details/129786611
版权

0 参考列表

优快云:Sqoop基本原理及常用方法https://blog.youkuaiyun.com/weixin_48482704/article/details/109821541

1 概念

        一款在Hadoop和关系数据库之间传输数据的工具,Sqoop接收到客户端的shell命令或者Java api命令后,通过Sqoop中的任务翻译器将命令转换为对应的MapReduce任务,而后在关系型数据库和Hadoop之间完成数据同步.

2 安装(1.4.7)

2.1 参考列表

配置Sqoop1.4.7支持Hadoop3_sqoop hadoop3-优快云博客文章浏览阅读2.4k次，点赞2次，收藏19次。解决Hadoop3无法使用Sqoop的问题_sqoop hadoop3 https://blog.youkuaiyun.com/shaock2018/article/details/128235872

2.2 安装

 (1) 下载:Index of /dist/sqoop/1.4.7

        

(2) 上传解压并重命名:

        ①tar -zxvf sqoop-1.4.7.tar.gz

        ②mv sqoop-1.4.7 /data/sqoop

(3) 补充依赖包

        ①将 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz/lib 下的 avro-1.8.1.jar 复制到 /data/sqoop/lib/ 下;

        ②将 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 的 sqoop-1.4.7.jar 复制到 /data/sqoop/ 下;

        ③将单独下载的 mysql-connector Jar包复制到 /data/sqoop/lib/下

(4) 修改 sqoop-env.sh文件(conf 下)

        cp sqoop-env-template.sh sqoop-env.sh

        在 sqoop-env.sh 中添加以下内容

export HADOOP_COMMON_HOME=/data/hadoop
export HADOOP_MAPRED_HOME=/data/hadoop
export HIVE_HOME=/data/hive
export HIVE_CONF_DIR=/data/hive/conf
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*

(5) 修改 bin/sqoop

# exec ${HADOOP_COMMON_HOME}/bin/hadoop org.apache.sqoop.Sqoop "$@"
exec ${HADOOP_COMMON_HOME}/bin/hadoop jar $SQOOP_HOME/sqoop-1.4.7.jar org.apache.sqoop.Sqoop "$@"

(6) 添加环境变量

        修改 /etc/profile

# Sqoop 1.4.7
export SQOOP_HOME=/data/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

        刷新环境变量:source /etc/profile  

3 使用

3.1 导入

3.1.1 导入 HDFS 文件

(1) 表导入
sqoop import \
--connect jdbc:mysql://<DB_HOST>:<DB_PORT>/<DB_NAME> \ 
--username <DB_USER> \  
--password <DB_PASSWORD> \ 
# 通过表
--table <TABLE_NAME> \  
# 指定列
--columns <COL_NAME...> \
# 筛选
--where "..." \

--target-dir <HDFS_TARGET_DIR>

(2) 查询导入
sqoop import \
--connect jdbc:mysql://<DB_HOST>:<DB_PORT>/<DB_NAME> \ 
--username <DB_USER> \  
--password <DB_PASSWORD> \ 
--query "select ..." \

--target-dir <HDFS_TARGET_DIR>

(3) 增量导入_基于递增列
sqoop import \
--connect jdbc:mysql://<DB_HOST>:<DB_PORT>/<DB_NAME> \ 
--username <DB_USER> \  
--password <DB_PASSWORD> \  
--query "select ..." \ 

--target-dir <HDFS_TARGET_DIR> \  
--incremental append \  
# 用于指定检查增量的列
--check-column <INCREMENTAL_COLUMN> \  
#  用于指定上次导入的最后一个值,Sqoop 会从这个值开始导入新的数据
--last-value <LAST_INCREMENTAL_VALUE> \  

# 非必须,并行同步
--split-by sid \
-m 2 

# 例如这段的含义是导入 id > 2 的数据
--check-column id \
--last-value 2 \

(4) 增量导入_基于最后修改时间
sqoop import \
--connect jdbc:mysql://<DB_HOST>:<DB_PORT>/<DB_NAME> \
--username <DB_USER> \
--password <DB_PASSWORD> \
--query "select ..." \

--target-dir <HDFS_TARGET_DIR> \
--incremental lastmodified \
--check-column <INCREMENTAL_COLUMN> \
--last-value <LAST_VALUE_FILE> \
--split-by <SPLIT_BY_COLUMN> \

# 例如这段是导入  last_modified > '2023-01-02 11:00:00' 的数据
--check-column last_modified \
--last-value '2023-01-02 11:00:00'

3.1.2 导入到 Hive 表

(1) 表导入
sqoop import \
--connect jdbc:mysql://<DB_HOST>:<DB_PORT>/<DB_NAME> \  
--username <DB_USER> \  
--password <DB_PASSWORD> \  
# 通过表
--table <TABLE_NAME> \  

--hive-import \  
--hive-database <HIVE_DB_NAME> \  
--hive-table <HIVE_TABLE_NAME> \  
--create-hive-table

(2) 查询导入
sqoop import \
--connect jdbc:mysql://<DB_HOST>:<DB_PORT>/<DB_NAME> \
--username <DB_USER> \
--password <DB_PASSWORD> \
--query "select ..." \

--hive-import \
--hive-database <HIVE_DATABASE> \
--hive-table <TB_NAME> \
--create-hive-table
  (4) 静态分区
sqoop import \
--connect jdbc:mysql://<DB_HOST>:<DB_PORT>/<DB_NAME> \
--username <DB_USER> \
--password <DB_PASSWORD> \
--table <TABLE_NAME> \
--hive-import \
--hive-database <HIVE_DATABASE> \
--hive-table <HIVE_TABLE> \
# Hive 表的分区字段名称
--hive-partition-key <PARTITION_KEY> \
# Hive 表的分区字段值
--hive-partition-value <PARTITION_VALUE>

 (4) 增量导入_基于递增列
sqoop import \
--connect jdbc:mysql://<DB_HOST>:<DB_PORT>/<DB_NAME> \
--username <DB_USER> \
--password <DB_PASSWORD> \
--query "select ..." \

--hive-import \
--hive-database <HIVE_DATABASE> \
--hive-table <HIVE_TABLE> \
--incremental append \
--check-column <INCREMENTAL_COLUMN> \
--last-value <LAST_VALUE>
--split-by <SPLIT_BY_COLUMN> \

(5) 增量导入_基于最后修改时间
sqoop import \
--connect jdbc:mysql://<DB_HOST>:<DB_PORT>/<DB_NAME> \
--username <DB_USER> \
--password <DB_PASSWORD> \
--query "select ..." \

--hive-import \
--hive-database <HIVE_DATABASE> \
--hive-table <HIVE_TABLE> \
--incremental lastmodified \
--check-column <INCREMENTAL_COLUMN> \
--last-value <LAST_VALUE> \
--split-by <SPLIT_BY_COLUMN>

(6) 增量导入_基于主键判断
sqoop import \
--connect jdbc:mysql://<DB_HOST>:<DB_PORT>/<DB_NAME> \  
--username <DB_USER> \                                  
--password <DB_PASSWORD> \                              
--query "select ..." \  

--hive-import \                                         
--hive-database <HIVE_DATABASE> \                       
--hive-table <HIVE_TABLE> \                             
--update-key <UPDATE_KEY_COLUMN> \ 
# updateonly(仅更新已存在的记录),allowinsert(更新已存在的记录,同时插入不存在的记录)                     
--update-mode <UPDATE_MODE> \                           
--split-by <SPLIT_BY_COLUMN>

3.2 导出

(1) 导出 HDFS 文件

sqoop export \
--connect jdbc:mysql://<DB_HOST>:<DB_PORT>/<DB_NAME> \  
--username <DB_USER> \  
--password <DB_PASSWORD> \  
--table <TABLE_NAME> \  

--export-dir <HDFS_SOURCE_DIR> \  

--where "<CONDITION>"

(2) 导出 Hive表

sqoop export \
--connect jdbc:mysql://<DB_HOST>:<DB_PORT>/<DB_NAME> \  
--username <DB_USER> \  
--password <DB_PASSWORD> \  
--table <DB_TABLE> \  
--hcatalog-table <HIVE_TABLE> \

(3) 查询导出

-- 1 将数据导出到临时目录
insert overwrite directory <temp_directory>
row format delimited
fields terminated by ','
select ...
;


# 2 导出
sqoop export \
--connect jdbc:mysql://<db_host>:<db_port>/<db_name> \
--username <db_user> \
--password <db_password> \
--table <db_table> \
--export-dir <hdfs_temp_directory> \

4 参数

4.1 导入参数

分类参数说明
基本参数connect连接关系型数据库的URL
username连接数据库的用户名
password连接数据库的密码
table指定关系数据库的表名
target-dir指定数据存储的 HDFS 具体目录
warehouse-dir指定数据存储的 HDFS 的父目录,程序会创建具体目录
query自定义 SQL 查询
增量导入参数incremental指定增量导入模式,append 或 lastmodified
check-column用于检查增量的列名
last-value 次导入的最后一个值
update-key指定用于更新的列
update-mode指定更新模式,updateonly(仅更新已存在的记录),allowinsert(更新已存在的记录,同时插入不存在的记录) 
可选参数columns定要导入的列,逗号分隔
where过滤条件
split-by指定分片列,用于并行任务分片
--direct启用数据库的直接导出模式,代替JDBC.MySQL、PostgreSQL支持此参数

4.2 导出参数

分类参数说明
基本参数connect连接关系型数据库的URL
username连接数据库的用户名
password连接数据库的密码
table指定关系数据库的表名
export-dir指定要导出的 HDFS 目录

4.3 性能优化参数

参数说明
m指定并行任务的数量.默认为4
fetch-size批量读取的数据量大小,推荐在 1000 到 10000 之间
batch启用批量模式,将多个 SQL 操作(如插入、更新)合并为一个批次提交

4.4 集成参数

分类参数说明
必须参数hive-import导入 Hive
hive-table目标Hive表
分区分桶参数hive-partition-key指定分区表的分区键
hive-partition-value指定分区键对应的分区值
可选参数hive-database目标Hive数据库
create-hive-table无参数值,在导入数据之前自动创建Hive表
hive-overwrite无参数值,覆盖Hive表中的现有数据

4.5 代码生成参数

4.6 其它参数

5 优化

数据同步工具Sqoop原理及优化
石榴姐yyds
10-14 831
Ø如Sqoop在导出到Mysql时，使用4个Map任务，过程中有2个任务失败，此时MySQL中存储了另外两个Map任务导入的数据，这时业务刚好看到了这个报表数据，而开发工程师发现任务失败后，会调试问题并最终将全部数据正确的导入MySQL，那后面业务再次看报表数据，发现本次看到的数据与之前的不一致，这在生产环境是不允许的。导出数据时采用--input-null-string和--input-null-non-string两个参数。导入数据时采用--null-string和--null-non-string。
sqoop导入mysql重复_sqoop 增量导入，数据重复问题
weixin_31807383的博客
02-05 1236
根据自增ID导入数据时重复，可以使用下列方法 7.2.10.Incremental ImportsSqoop provides an incremental import mode which can be used to retrieve only rows newer than some previously-imported set of rows.Sqoop提供了一种增量导入模式，该模式...
sqoop数据同步工具的使用示例
码不停歇的博客
02-14 104
sqoop数据同步工具的使用示例。
sqoop适用的数据源_Sqoop使用手册
weixin_39531378的博客
01-14 538
1 Sqoop概述Sqoop是一个旨在Hadoop和关系数据库或主机之间传输数据的工具。你可以使用Sqoop从关系型数据库管理系统(RDBMS)，如MySQL、Oracle或大型机到Hadoop分布式文件系统(HDFS)导入数据，在Hadoop中的MapReduce转换数据，然后将数据导出到一个RDBMS 。Sqoop使用MapReduce导入和导出数据，它提供了并行操作，以及容错。2 ...
sqoop实时mysql增量_sqoop导入增量数据
weixin_29415667的博客
02-11 502
使用sqoop导入增量数据.核心参数--check-column用来指定一些列，这些列在增量导入时用来检查这些数据是否作为增量数据进行导入，和关系行数据库中的自增字段及时间戳类似这些被指定的列的类型不能使用任意字符类型，如char、varchar等类型都是不可以的，同时 --check-column 可以去指定多个列--incremental用来指定增量导入的模式，两种模式分别为append 和 ...
sqoop适用的数据源_Sqoop-1.4.5用户手册
weixin_39938875的博客
02-04 456
本文以Sqoop User Guide (v1.4.5)为主，对Sqoop-1.4.5的用户手册进行翻译，同时会结合一些实际操作中的注意事项一并写入。由于原文档很长，本文首先会以实际使用到的部分为主，逐步进行完善。1、IntroductionSqoop是一个用于在Hadoop和关系型数据库之间流转数据的一个工具。可以使用Sqoop将数据从关系型数据库系统(RDBMS)比如MySQL或者Oracle...
sqoop同步mysql间的数据_sqoop同步mysql数据到hive中
weixin_28953937的博客
01-30 330
一、sqoop 在同步mysql表结构到hivesqoop create-hive-table --connect jdbc:mysql://ip:3306/sampledata --table t1--username dev --password 1234 --hive-table t1; 执行到这一步就退出了，但是在hadoop的hdfs上的/hive/warehouse/的目录下是找不到t...
sqoop同步mysql间的数据_使用sqoop在MySQL、hadoop、hive间同步数据
weixin_36158990的博客
01-21 333
将 MySQL 的数据导入到 HDFS 中/usr/local/service/sqoop/bin/sqoop-import--connect jdbc:mysql://$mysqlIP/test--username root-P --table sqoop_test-m 4--target-dir /sqoop--fields-terminated-by 't'--connect 用于连接 My...
sqoop适用的数据源_sqoop支持的数据库
weixin_36213143的博客
01-14 1328
Sqoop(Tunnel通道系列) Sqoop基于社区Sqoop 1.4.6版本开发，增强了对MaxCompute的支持，可以将数据从MySQL等关系数据库导入或导出到MaxCompute表中，也可以从HDFS或Hive导入数据到MaxCompute表中。详情请参见MaxCompute Sqoop。说明 该项目已经开源，您可进入aliyun-maxcompute-data-collectors进行...
sqoop同步mysql间的数据_数据迁移之Sqoop
weixin_39980353的博客
02-04 1392
一 简介Apache Sqoop(TM)是一种用于在Apache Hadoop和结构化数据存储(如关系数据库)之间高效传输批量数据的工具。1.Sqoop是什么Sqoop：SQL-to-Hadoop连接 传统关系型数据库 和 Hadoop 的桥梁把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS HBase 和 Hive) 中；把数据从 Hadoop 系统里抽取并导出到关系型数据库里...
数据同步工具Sqoop
爱是与世界平行
10-26 2251
Apache Sqoop（SQL-to-Hadoop）项目旨在协助RDBMS（Relational Database Management System：关系型数据库管理系统）与Hadoop之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下，轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中；同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。
yinian_hive_increase_sqoop:sqoop从mysql同步数据到hive
04-29
综上所述，"yinian_hive_increase_sqoop"项目主要涉及如何使用Sqoop这一工具进行数据迁移，从MySQL到Hive的数据同步是一个涉及数据处理、存储和分析的重要环节。通过理解这些知识点，我们可以更好地理解和实践大数据...
hadoop搭建 zookeeper_hbase_hive_sqoop_mysql_spark_hdfs.doc
10-20
Zookeeper是一个分布式协调服务，用于管理集群中的配置信息、命名服务、分布式同步和组服务。在Hadoop环境中，它是HBase和HDFS等服务的重要依赖。安装Zookeeper通常包括下载源码、编译、配置环境变量和启动服务。 ...
【Sqoop基础】Sqoop生态集成：与HDFS、Hive、HBase等组件的协同关系深度解析
IT成长日记的博客
05-27 1304
Apache Sqoop（SQL-to-Hadoop）作为大数据生态系统中至关重要的数据迁移工具，在关系型数据库与Hadoop生态系统之间架起了高效的数据桥梁。随着企业数据量的爆炸式增长，传统ETL工具在处理海量数据时面临性能瓶颈，而Sqoop凭借其分布式架构和并行处理能力，成为大数据平台数据集成的事实标准。当执行导入操作时，Sqoop会将关系型数据库中的表数据转换为HDFS上的文件存储。Sqoop作为大数据生态系统的关键组件，通过与HDFS、Hive、HBase的深度集成，构建了完整的数据管道解决方案。
95.WPF中图片控件的使用与资源路径设置 WPF例子 C#例子
S13461120713的博客
05-28 414
在XAML中，Image控件的定义非常简单，我们可以通过设置其属性来指定图片的大小、位置等信息。：为该Image控件添加一个鼠标按下事件处理程序，当用户按下鼠标时，会触发这个事件。通过上述介绍，我们了解了在WPF中使用Image控件的基本方法，包括在XAML中定义控件和在代码后台设置图片资源。同时，我们也探讨了使用绝对路径、相对路径和资源文件的不同方式及其优缺点。在实际开发中，建议根据具体需求选择合适的方式，以提高程序的可维护性和性能。希望这篇文章对你有所帮助！
WPF学习
qq_43582136的博客
05-28 1076
是一个隧道事件（Tunneling Event），用于在按键事件到达目标元素之前捕获和处理键盘输入。它是WPF事件路由机制的一部分，与冒泡事件。在WPF（Windows Presentation Foundation）中，以下是一个简单的WPF窗口示例，演示如何处理。WPF采用**隧道（Tunneling）如果需要进一步定制键盘行为，可以结合。输入，而冒泡事件用于常规处理。（文本输入）等事件使用。
Spark任务提交流程
别人笑我太疯癫，我笑他人看不穿。
01-17 1638
spark的任务执行流程没有Hadoop那么绕，它的流程其实就是当你运行submit的的时候Driver会和Master进行交互，因为对于Spark来说Master是掌控集群资源的组件，和Hadoop的yarn是一样的作用，Master会通知有资源的服务器节点，去主动的和Driver交互，这一步也叫反向注册，其实说的高大上，说白了就是让服务器子节点和Driver去交互，Master不参与了，不过在Master通知服务器子节点和Driver反向注册的时候，会通知它们启动executor进程 而Driver和.
网络上的人际交往.ppt
05-31
网络上的人际交往.ppt
利用Revit软件进行智能检查管线净高的方法.docx
最新发布
06-01
利用Revit软件进行智能检查管线净高的方法.docx
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值