sqoop数据迁移(03)——sqoop数据导入

本文详细介绍如何使用Sqoop工具从RDBMS导入数据到HDFS及Hive,涵盖数据库列表查询、数据导入、增量导入等多种操作,适用于大数据场景下的数据迁移。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

导入单个表从RDBMS到HDFS。表中的每一行被视为HDFS的记录。所有记录都存储为文本文件的文本数据(或者Avro、sequence文件等二进制数据)

列举出所有的数据库

命令行查看帮助

bin/sqoop list-databases --help

列出本机(我这里直接安装在了node03,node03上有mysql数据库)主机所有的数据库
bin/sqoop list-databases --connect jdbc:mysql://172.16.43.67:3306/ --username root --password 123456
在这里插入图片描述

查看某一个数据库下面的所有数据表

bin/sqoop list-tables --connect jdbc:mysql://192.168.52.5:3306/spark --username root --password 123

在这里插入图片描述

导入数据库表数据到HDFS

下面的命令用于从MySQL数据库服务器中的emp表导入HDFS。

bin/sqoop import --connect jdbc:mysql://192.168.52.5:3306/userdb --password 123 --username root --table emp --m 1

验证在HDFS导入的数据,可以使用以下命令查看导入的数据

hdfs  dfs  -ls  /user/root/emp

导入到HDFS指定目录

在导入表数据到HDFS使用Sqoop导入工具,我们可以指定目标目录。
使用参数 --target-dir来指定导出目的地,
使用参数—delete-target-dir来判断导出目录是否存在,如果存在就删掉

bin/sqoop import  --connect jdbc:mysql://192.168.52.5:3306/userdb --username root --password 123 --delete-target-dir --table emp  --target-dir /sqoop/emp --m 1

查看导入的数据(默认会用逗号(,)分隔emp_add表的数据和字段):

hdfs dfs -text /sqoop/emp/part-m-00000

导入到hdfs指定目录并指定字段之间的分隔符

bin/sqoop import  --connect jdbc:mysql://192.168.33.48:3306/userdb --username root --password admin --delete-target-dir --table emp  --target-dir /sqoop/emp2 --m 1 --fields-terminated-by '\t'

查看文件内容

hdfs dfs -text /sqoop/emp2/part-m-00000

导入关系表到HIVE

导包

需要将hive的一个叫做hive-exec-1.1.0-cdh5.14.0.jar的jar包拷贝到sqoop的lib目录下

cp /export/servers/hive-1.1.0-cdh5.14.0/lib/hive-exec-1.1.0-cdh5.14.0.jar /export/servers/sqoop-1.4.6-cdh5.14.0/lib/
准备hive数据库与表

将mysql当中的数据导入到hive表当中来,在hive中输入以下命令:

 create database sqooptohive;
 use sqooptohive;
 create external table emp_hive(id int,name string,deg string,salary int ,dept string) row format delimited fields terminated by '\001';
开始导入
bin/sqoop import --connect jdbc:mysql://192.168.52.5:3306/userdb --username root --password 123 --table emp --fields-terminated-by '\001' --hive-import --hive-table sqooptohive.emp_hive --hive-overwrite --delete-target-dir --m 1
hive表数据查看

在hive客户端中执行以下命令:

select * from emp_hive;
导入关系表到hive并自动创建hive表

可以通过命令来将我们的mysql的表直接导入到hive表当中去

bin/sqoop import --connect jdbc:mysql://192.168.52.5:3306/userdb --username root --password 123 --table emp_conn --hive-import -m 1 --hive-database sqooptohive;

导入表数据子集

可以导入表的"where"子句的一个子集。它先执行数据库相应的查询,然后将结果导入存储在HDFS等目标目录。

bin/sqoop import \
--connect jdbc:mysql://192.168.52.5:3306/userdb \
--username root --password 123 --table emp_add \
--target-dir /sqoop/emp_add -m 1  --delete-target-dir \
--where "city = 'sec-bad'"

直接通过sql语句查找导入hdfs

可以通过 –query参数来指定我们的sql语句,通过sql语句来过滤我们的数据进行导入

bin/sqoop import \
--connect jdbc:mysql://192.168.33.48:3306/userdb --username root --password admin \
--delete-target-dir -m 1 \
--query 'select phno from emp_conn where 1=1 and  $CONDITIONS' \
--target-dir /sqoop/emp_conn

增量导入

在工作中,数据的导入,很多时候都是只需要导入增量数据即可。
我们一般都是选用一些字段进行增量的导入,为了支持增量的导入,sqoop也给我们考虑到了这种情况并且支持增量的导入数据。
增量导入是仅导入新添加的表中的行。
它需要添加‘incremental’, ‘check-column’, 和 ‘last-value’选项来执行增量导入。
下面的语法用于Sqoop导入命令增量选项。

--incremental <mode>
--check-column <column name>
--last value <last check column value>
使用选项来实现增量导入

导入emp表当中id大于1200的所有数据
注意:增量导入的时候,一定不能加参数–delete-target-dir否则会报错
bin/sqoop import
–connect jdbc:mysql://192.168.52.5:3306/userdb
–username root
–password 123
–table emp
–incremental append
–check-column id
–last-value 1200
-m 1
–target-dir /sqoop/increment

通过–where条件来实现增量导入

使用–where来进行控制数据的选取会更加精准

bin/sqoop import \
--connect jdbc:mysql://192.168.52.5:3306/userdb \
--username root \
--password 123  \
--table emp \
--incremental append  \
--where "create_time > '2018-09-20 00:00:00' and is_delete='1' and create_time < '2018-09-20 23:59:59'" \
--target-dir /sqoop/incement2 \
--check-column id  \
--m 1
### 使用 Sqoop 进行数据导入操作 #### 工具介绍 在大数据处理领域,Sqoop 是一个用于高效传输批量数据至 Hadoop 生态系统的工具。它支持从关系型数据库管理系统(RDBMS) 如 MySQL, Oracle 等向 Hive 或者 HDFS 导入数据[^1]。 #### 数据导入命令结构 为了执行一次简单的全量导入操作,可以采用如下基本语法: ```bash sqoop import \ --connect jdbc-url \ --username user-name \ --password password \ --table table-name \ --target-dir hdfs-target-directory \ --fields-terminated-by delimiter-character ``` 此命令会连接到指定的 JDBC URL 的 RDBMS 中读取 `table-name` 表的数据,并将其存储于给定的目标目录下(`hdfs-target-directory`) ,字段间通过设定好的分隔符(delimiter-character)来区分[^2]。 #### 增量导入模式 对于已经存在部分历史记录的情况下的新数据追加需求,则可以通过设置增量加载参数实现。这通常涉及到两个选项:一个是基于时间戳列的变化(`lastmodified`);另一个则是依据主键自增(`append`)的方式来进行更新后的数据同步[^3]: ```bash # 时间戳方式(假设有一个名为update_time的时间戳字段) sqoop import ... --incremental lastmodified --check-column update_time ... # 自增值方式 sqoop import ... --incremental append --check-column id ... ``` #### 实际案例演示 考虑这样一个场景——将本地 MySQL 数据库里的某个表格内容迁移到远程集群内的 HDFS 文件系统上: ```bash sqoop import \ --connect "jdbc:mysql://localhost/mydb?useSSL=false&serverTimezone=UTC" \ --username root \ --password secret \ --table employees \ --target-dir /user/hive/warehouse/mysql_imported_employees \ --fields-terminated-by '\t' \ --lines-terminated-by '\n' ``` 以上指令将会把位于 localhost 上运行着的服务端口默认配置 (3306) 下面名称为 'mydb' 的数据库里边叫做 'employees' 的那张表里面所有的行都转移到由 `/user/hive/warehouse/mysql_imported_employees` 所指向的位置去保存起来.
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值