数据迁移(sqoop)mysql->hdfs 和 Hdfs->mysql

本文详细介绍了如何使用Sqoop工具在MySQL数据库与HDFS之间进行数据导入和导出的操作流程,包括数据导入、指定条件导入、使用分隔符、数据验证,以及从HDFS导出数据到MySQL的方法,还涵盖了如何将数据导入到Hive的过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、使用sqoop导入Mysql数据到HDFS
在集群中的第五个mysql数据节点新建数据库在这里插入图片描述
远程连接mysql数据库
在这里插入图片描述
远程连接数据库查看表
在这里插入图片描述
使用sqoop导入mysql数据到HDFS
在这里插入图片描述
在这里插入图片描述
网页查看
在这里插入图片描述
使用指定的分隔符
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
导入指定条件的数据
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
导入指定查询语句的数据
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
查询验证
在这里插入图片描述
4、使用sqoop导出HDFS数据到mysql
准备导出表
在这里插入图片描述
创建导出文件位置,并导出所有字段
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
创建导出文件位置,导出表时指定分隔符
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
批量导出
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
5、使用sqoop导入mysql数据到Hive
导入表的所有字段到Hive
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
导入指定字段到hive表中
创建Hive表
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
将常用的sqoop脚本定义成作业,方便其他人调用(使用sqoop2)
在这里插入图片描述
启动sqoop2
在这里插入图片描述
创建数据库连接
在这里插入图片描述
查看创建的连接信息
在这里插入图片描述
建立HDFS文件系统连接
在这里插入图片描述
查看连接信息
在这里插入图片描述
在hdfs创建用于存放导出的数据文件目录
在这里插入图片描述
创建数据传输事务
在这里插入图片描述
在这里插入图片描述
查看创建的事务信息
在这里插入图片描述
启动数据传输事务
在这里插入图片描述
查看事务状态
在这里插入图片描述
查看导出的数据文件列表和导出的数据信息
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
出现错误
1、测试与mysql连通时出错
在这里插入图片描述
解决:下载avro-1.8.1.jar包
上传至sqoop安装目录
在这里插入图片描述2、导入所有字段到Hive中时出错
在这里插入图片描述
解决方案
在这里插入图片描述
3、启动事务时出错,解决:给emp表添加主键,重新创建job
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值