Hadoop离线 day18 sqoop数据迁移和java执行shell命令

最新推荐文章于 2024-07-06 02:09:50 发布
最新推荐文章于 2024-07-06 02:09:50 发布
阅读量304 收藏
点赞数
分类专栏： hadoop离线 文章标签： 数据库 java linux 大数据 mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_39210914/article/details/112210349
版权

sqoop数据迁移和java执行shell命令

3. sqoop数据迁移

3.1、概述

sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。
导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；
导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等

在这里插入图片描述

3.2、sqoop1与sqoop2架构对比

sqoop1架构
在这里插入图片描述

sqoop2架构

在这里插入图片描述

3.3、工作机制

将导入或导出命令翻译成mapreduce程序来实现
在翻译出的mapreduce中主要是对inputformat和outputformat进行定制

3.4 、sqoop实战及原理

3.4.1 sqoop安装

安装sqoop的前提是已经具备java和hadoop的环境

  • 1、下载并解压
    下载地址
    http://archive.cloudera.com/cdh5/cdh/5/
    sqoop1版本详细下载地址
    http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.14.0.tar.gz
    sqoop2版本详细下载地址
    http://archive.cloudera.com/cdh5/cdh/5/sqoop2-1.99.5-cdh5.14.0.tar.gz

我们这里使用sqoop1的版本，下载之后上传到/export/softwares目录下，然后进行解压

cd /export/softwares
tar -zxvf sqoop-1.4.6-cdh5.14.0.tar.gz -C ../servers/
  • 2、修改配置文件
cd /export/servers/sqoop-1.4.6-cdh5.14.0/conf/
cp sqoop-env-template.sh  sqoop-env.sh
vim sqoop-env.sh
export HADOOP_COMMON_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export HADOOP_MAPRED_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export HIVE_HOME=/export/servers/hive-1.1.0-cdh5.14.0
  • 3、加入额外的依赖包
    sqoop的使用需要添加两个额外的依赖包，一个是mysql的驱动包，一个是java-json的的依赖包，不然就会报错
mysql-connector-java-5.1.40.jar
java-json.jar

将这个两个jar包添加到sqoop的lib目录下

  • 4、验证启动
cd /export/servers/sqoop-1.4.6-cdh5.14.0
bin/sqoop-version

在这里插入图片描述

3.5、 Sqoop的数据导入

“导入工具”导入单个表从RDBMS到HDFS。表中的每一行被视为HDFS的记录。所有记录都存储为文本文件的文本数据（或者Avro、sequence文件等二进制数据）
列举出所有的数据库
命令行查看帮助

bin/sqoop list-databases --help

列出win7主机所有的数据库

bin/sqoop list-databases --connect jdbc:mysql://172.16.43.67:3306/ --username root --password admin

查看某一个数据库下面的所有数据表

bin/sqoop list-tables --connect jdbc:mysql://172.16.43.67:3306/userdb --username root --password admin

其它导入示例
表数据
在mysql中有一个库userdb中三个表：emp, emp_add和emp_conn
表emp:
在这里插入图片描述
表emp_add:
在这里插入图片描述

表emp_conn:
在这里插入图片描述

  • 导入数据库表数据到HDFS
    下面的命令用于从MySQL数据库服务器中的emp表导入HDFS。
bin/sqoop import --connect jdbc:mysql://192.168.1.101:3306/userdb --password admin --username root --table emp --m 1

如果成功执行，那么会得到下面的输出。
在这里插入图片描述
为了验证在HDFS导入的数据，请使用以下命令查看导入的数据

hdfs  dfs  -ls  /user/root/emp

导入到HDFS指定目录
在导入表数据到HDFS使用Sqoop导入工具，我们可以指定目标目录。
使用参数 --target-dir来指定导出目的地，
使用参数—delete-target-dir来判断导出目录是否存在，如果存在就删掉

bin/sqoop import  --connect jdbc:mysql://172.16.43.67:3306/userdb --username root --password admin --delete-target-dir --table emp  --target-dir /sqoop/emp --m 1

查看导出的数据

hdfs dfs -text /sqoop/emp/part-m-00000

在这里插入图片描述
它会用逗号（，）分隔emp_add表的数据和字段。
1201,gopal,manager,50000,TP
1202,manisha,Proof reader,50000,TP
1203,khalil,php dev,30000,AC
1204,prasanth,php dev,30000,AC
1205,kranthi,admin,20000,TP
导入到hdfs指定目录并指定字段之间的分隔符

bin/sqoop import  --connect jdbc:mysql://172.16.43.67:3306/userdb --username root --password admin --delete-target-dir --table emp  --target-dir /sqoop/emp2 --m 1 --fields-terminated-by '\t'

查看文件内容

hdfs dfs -text /sqoop/emp2/part-m-00000

在这里插入图片描述

  • 导入关系表到HIVE
    第一步：拷贝jar包
    将我们mysql表当中的数据直接导入到hive表中的话，我们需要将hive的一个叫做hive-exec-1.1.0-cdh5.14.0.jar的jar包拷贝到sqoop的lib目录下
cp /export/servers/hive-1.1.0-cdh5.14.0/lib/hive-exec-1.1.0-cdh5.14.0.jar /export/servers/sqoop-1.4.6-cdh5.14.0/lib/

第二步：准备hive数据库与表
将我们mysql当中的数据导入到hive表当中来

hive (default)> create database sqooptohive;
hive (default)> use sqooptohive;
hive (sqooptohive)> create external table emp_hive(id int,name string,deg string,salary int ,dept string) row format delimited fields terminated by '\001';

第三步：开始导入

bin/sqoop import --connect jdbc:mysql://172.16.43.67:3306/userdb --username root --password admin --table emp --fields-terminated-by '\001' --hive-import --hive-table sqooptohive.emp_hive --hive-overwrite --delete-target-dir --m 1

第四步：hive表数据查看

select * from emp_hive;

在这里插入图片描述

  • 导入关系表到hive并自动创建hive表
    我们也可以通过命令来将我们的mysql的表直接导入到hive表当中去
bin/sqoop import --connect jdbc:mysql://172.16.43.67:3306/userdb --username root --password admin --table emp_conn --hive-import -m 1 --hive-database sqooptohive;

通过这个命令，我们可以直接将我们mysql表当中的数据以及表结构一起倒入到hive当中去

  • 导入表数据子集
    我们可以导入表的使用Sqoop导入工具，"where"子句的一个子集。它执行在各自的数据库服务器相应的SQL查询，并将结果存储在HDFS的目标目录。
    where子句的语法如下。

–where

按照条件进行查找，通过—where参数来查找表emp_add当中city字段的值为sec-bad的所有数据导入到hdfs上面去

bin/sqoop import \
--connect jdbc:mysql://172.16.43.67:3306/userdb \
--username root --password admin --table emp_add \
--target-dir /sqoop/emp_add -m 1  --delete-target-dir \
--where "city = 'sec-bad'"
  • sql语句查找导入hdfs
    我们还可以通过 –query参数来指定我们的sql语句，通过sql语句来过滤我们的数据进行导入
bin/sqoop import \
--connect jdbc:mysql://172.16.43.67:3306/userdb --username root --password admin \
--delete-target-dir -m 1 \
--query 'select phno from emp_conn where 1=1 and  $CONDITIONS'  \
--target-dir /sqoop/emp_conn
  • 查看hdfs数据内容
hdfs dfs -text /sqoop/emp_conn/part*

在这里插入图片描述

  • 增量导入
    在实际工作当中，数据的导入，很多时候都是只需要导入增量数据即可，并不需要将表中的数据全部导入到hive或者hdfs当中去，肯定会出现重复的数据的状况，所以我们一般都是选用一些字段进行增量的导入，为了支持增量的导入，sqoop也给我们考虑到了这种情况并且支持增量的导入数据
    增量导入是仅导入新添加的表中的行的技术。
    它需要添加‘incremental’, ‘check-column’, 和 ‘last-value’选项来执行增量导入。
    下面的语法用于Sqoop导入命令增量选项。

–incremental
–check-column
–last value

第一种增量导入使用上面的选项来实现
导入emp表当中id大于1202的所有数据
注意：增量导入的时候，一定不能加参数–delete-target-dir否则会报错

bin/sqoop import \
--connect jdbc:mysql://192.168.22.22:3306/userdb \
--username root \
--password admin \
--table emp \
--incremental append \
--check-column id \
--last-value 1202  \
-m 1 \
--target-dir /sqoop/increment

查看数据内容

hdfs dfs -text /sqoop/increment/part*

在这里插入图片描述
第二种增量导入通过–where条件来实现
或者我们使用–where来进行控制数据的选取会更加精准

bin/sqoop import \
--connect jdbc:mysql://192.168.22.22:3306/userdb \
--username root \
--password admin  \
--table emp \
--incremental append  \
--where "create_time > '2018-06-17 00:00:00' and is_delete='1' and create_time < '2018-06-17 23:59:59'" \
--target-dir /sqoop/incement2 \
--check-column id  \
--m 1

作业：增量导入hive表中该如何实现？？？

3.6、 Sqoop的数据导出

1、将数据从HDFS把文件导出到RDBMS数据库
导出前，目标表必须存在于目标数据库中。
 默认操作是从将文件中的数据使用INSERT语句插入到表中
 更新模式下，是生成UPDATE语句更新表数据
hdfs导出到mysql
数据是在HDFS当中的如下目录/sqoop/emp，数据内容如下
1201,gopal,manager,50000,TP,2018-06-17 18:54:32.0,2018-06-17 18:54:32.0,1
1202,manisha,Proof reader,50000,TP,2018-06-15 18:54:32.0,2018-06-17 20:26:08.0,1
1203,khalil,php dev,30000,AC,2018-06-17 18:54:32.0,2018-06-17 18:54:32.0,1
1204,prasanth,php dev,30000,AC,2018-06-17 18:54:32.0,2018-06-17 21:05:52.0,0
1205,kranthi,admin,20000,TP,2018-06-17 18:54:32.0,2018-06-17 18:54:32.0,1

  • 第一步：创建mysql表
CREATE TABLE `emp_out` (
  `id` INT(11) DEFAULT NULL,
  `name` VARCHAR(100) DEFAULT NULL,
  `deg` VARCHAR(100) DEFAULT NULL,
  `salary` INT(11) DEFAULT NULL,
  `dept` VARCHAR(10) DEFAULT NULL,
  `create_time` TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `update_time` TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  `is_delete` BIGINT(20) DEFAULT '1'
) ENGINE=INNODB DEFAULT CHARSET=utf8;
  • 第二步：执行导出命令
    通过export来实现数据的导出，将hdfs的数据导出到mysql当中去
bin/sqoop export \
--connect jdbc:mysql://172.16.43.67:3306/userdb \
--username root --password admin \
--table emp_out \
--export-dir /sqoop/emp \
--input-fields-terminated-by ","
  • 第三步：验证mysql表数据
    在这里插入图片描述

4、java执行shell命令

需求描述：在实际工作中，总会有些时候需要我们通过java代码通过远程连接去linux服务器上面执行一些shell命令，包括一些集群的状态管理，执行任务，集群的可视化界面操作等等，所以我们可以通过java代码来执行linux服务器的shell命令
为了解决上述问题，google公司给提出了对应的解决方案，开源出来了一个jar包叫做sshxcute，通过这个jar包我们可以通过java代码，非常便捷的操作我们的linux服务器了
项目地址如下：
https://code.google.com/archive/p/sshxcute/
使用说明
https://www.ibm.com/developerworks/cn/opensource/os-sshxcute/

第一步：创建maven的java工程并导入jar包
由于这个jar包没有maven坐标，所以需要我们手动导入并添加到工程的build path当中去

第二步：开发测试用例

public static void main(String[] args) throws TaskExecFailException {
	ConnBean connBean = new ConnBean("192.168.52.100", "root", "123456");
	SSHExec instance = SSHExec.getInstance(connBean);
	instance.connect();
	ExecCommand execCommand = new ExecCommand("echo 'hello world'");
	instance.exec(execCommand);
	instance.disconnect();
}
Sqoop面试整理
不务正业的猿
09-29 579
使用--target-dir参数指定导入数据在HDFS上的目标目录。可以使用--as-textfile、--as-avrodatafile、--as-sequencefile等参数来指定文件格式。在Sqoop导出时，使用--input-fields-terminated-by指定字段分隔符，使用--input-lines-terminated-by指定行分隔符。Sqoop提供了--null-string和--null-non-string参数来指定如何处理字符串类型和非字符串类型字段的NULL值。
大数据技术之Sqoop
悦分享
10-27 786
Sqoop 简介Sqoop是一款开源的数据迁移工具，主要用于在 Hadoop（Hive）与传统数据库（Mysql、Oracle...）间进行数据的相互传递，可以将一个关系型数据库（MySQL、Oracle、Postgres 等）中的数据导入到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导出到关系型数据库中。Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。
sqoop面试理论和应用
WGS.
10-20 1149
文章目录理论sqoop是什么将大数据平台数据导出到mysql可以用什么工具？Sqoop底层运行的任务是什么？qoop数据导出的时候一次执行多长时间？Sqoop导入使用什么语法？Sqoop导出使用什么语法？sqoop数据导入数据库数据导入到hdfs导入到HDFS指定目录导入到hdfs指定目录并指定字段之间的分隔符导入关系表到HIVE导入表数据子集sql语句查找导入hdfs增量导入 (全量导入 增量导入)Sqoop的数据导出hdfs导出到mysql 理论 sqoop是什么 sqoop是apache旗下一款“
sqoop 面试题
a1786742005的博客
04-07 386
Sqoop面试题
weixin_33858336的博客
06-14 1070
Sqoop参数有哪些？ Sqoop导入导出Null存储如何处理？ Sqoop数据导出一致性问题如何解决（部分map任务失败）？ Sqoop底层运行的任务时什么？ 这个项目Sqoop数据导出一次执行多长时间？ 转载于:https://juejin.im/post/5d02e35af265da1b7a4b6fa6...
sqoop的中文乱码处理
qq_44769208的博客
09-25 722
中文测试 mysql导入到hdfs bin/sqoop import \ --connect jdbc:mysql://node03:3306/A \ --username root \ --password 123456 \ --target-dir /A2 \ --table B --m 1 mysql导入到hive bin/sqoop import \ --connect "j...
[数仓]一、离线数仓（日志数据采集）
最新发布
weixin_44428807的博客
07-06 1802
G:\Bigdata\Projects\电商数仓4.0数据仓库（ Data Warehouse ），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。和等就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据业务数据通常存储在MySQL、Oracle等数据库中。：用户在使用产品过程中，通过埋点收集与客户端产品交互过程中产生的数据，并发往日志服务器进行保存。
用sqoop2从mysql导入数据到hbase
勿忘始终
08-15 3700
用sqoop2从mysql导入数据到hbase 标签（空格分隔）： sqoop2 hbase hadoop mysql 数据迁移 一、基础环境 hadoop-2.6.0 sqoop-1.99.6 hbase-1.0.1.1 二、数据迁移实际操作步骤 1、mysql中表结构显示 CREATE TABLE `risk_trade_error_result` ( `SERI...
Hive Shell指令——数据导入方法、数据导出方法详解
weixin_43376907的博客
02-26 3141
Hive数据导入方法、数据导出方法总结一、Hive数据导入方法 ——六条1. 使用 load data 导入2.使用 Insert into / overwrite 导入3. 使用 As select 导入4. 使用Location导入5. 使用Import导入6. 使用Sqoop导入二、Hive数据导出方法——五条1. 使用 Insert overwrite 导出2. 使用 Hadoop 命令导...
001_数据采集工具Flume与 Sqoop
夜归人的博客
06-08 1018
数据采集工具Flume与 Sqoop 知识点01：思考 在线教育项目中的需求和模块是什么？ 需求 基于不同维度的数据分析提高报名转化率 访问转咨询 意向转报名 基于不同维度的数据分析提高学员学习质量 考勤分析 模块/主题 访问分析主题 咨询分析主题 意向分析主题 报名分析主题 考勤分析主题 整个项目架构中使用到了哪些技术？ 数据生成：MYSQL业务数据库系统 访问与咨询：客服系统 意向与报名：CRM系统 考勤分析：学员管理系统 数据采集：Sqoop 数据存储：Hi
sqoop2 java API从oracle导数据到HDFS开发总结
08-23
除了代码还有总结内容，代码主要实现了从sqoop1.99.7从oracle导出数据到HDFS某目录；总结内容是一些踩坑的总结，还有一些坑的说明在代码注释里；灵活利用，可以帮助你跑通oracle到hdfs的过程。
最新最全Sqoop面试题及参考答案（持续更新）
大模型大数据攻城狮的专栏
03-29 398
在某些情况下，可能需要对导入的数据进行自定义的转换和处理。Sqoop提供了--class参数，允许用户指定一个自定义的Java类来实现数据的转换逻辑。自定义的Java类需要实现Sqoop的或接口，根据需要对数据进行处理。例如，可以实现一个类来转换数据格式、合并记录或执行复杂的数据清洗操作。在指定自定义类时，还需要使用--bindir参数来指定包含该类的JAR文件的位置。此外，还可以使用--jar-file参数直接指定包含自定义类的JAR文件。
sqoop面试题总结（大数据面试）
let_go_on的博客
08-11 1472
概述
Sqoop面试题总结
Poolweet_的博客
10-28 852
1. Sqoop导入数据到hdfs中的参数 --connect \ # 特殊的jdbc连接的字符串 --username \ --password \ --target-dir \ # hdfs目标的目录 --delete-target-dir \ # 导入的目标目录如果存在则删除那个目录 --num-mappers \ #相当于 -m ,并行导入时map task的个数 --fields-terminated-by \ --query "$2" ' and $CONDITIONS;' #
大数据面试之Sqoop
小谷的博客
06-14 454
大数据面试之Sqoop1.Sqoop1.1 Sqoop架构？如何启动访问？1.2 导入数据1.2.1 MySQL=> Hive1.2.2 Oracle=> Hive1.2.3 Sqoop import原理1.3 导出数据1.3.1 Hive(HDFS)=>MySQL1.3.2 Sqoop export 原理 说明，感谢亮哥长期对我的帮助，此处多篇文章均为亮哥带我整理。以及参考诸多博主的文章。如果侵权，请及时指出，我会立马停止该行为；如有不足之处，还请大佬不吝指教，以期共同进步。 1.Sqo
SQOOP，2024年最新阿里腾讯PDD等大厂大数据开发面试真题
2401_84167125的博客
04-08 1085
外链图片转存中…(img-0U0HNTu6-1712537172546)]
第一章 Sqoop专题之常见面试题
qq_27924553的博客
12-21 1662
sqoop常见面试题
Hadoop数据传输工具sqoop（四）Java远程调用Sqoop进行数据传输
Zicheng's tech blog
11-26 8017
1、Maven配置 org.apache.sqoop sqoop 1.4.5 2、Java代码 @Service public class SqoopTestServiceImpl implements SqoopTestService { //测试代码 public static void main(String[] args) { tr
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值