sqoop2从hdfs中导入到mysql

本文介绍如何通过Sqoop工具将Hive中的数据迁移到MySQL数据库中,包括数据准备、创建数据库对象、配置Job作业及启动流程,并提供了一些实践中的注意事项。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

数据准备:hive数据库文件     例路径为:/user/hadoop/hive/test

在mysql创建与hive中数据库结构一样的数据库。

启动sqoop2服务  $ sqoop2-server start

登录客户端  $ sqoop2-shell

创建数据库对象:

创建hdfs的link对象:

创建一个job作业:

启动这个job作业:start job -j 1 -s

以此启动完成。

 

这里有几个小细节要注意的:

1.hive中数据库的制表符要指定为',',不然mysql识别不了他的数据。

2.mysql中数据库要与hive中的字段顺序、名称、类型要一直,不然也会执行job失败。

3.mysql中的数据库不可有主键,不然也会导致失败,如果你可以保证你设置的那个列的值唯一的话也可以有。

4.如果想要删除已有的job或者link的话指令为delete job -j job的id号,delete link -l link的id号。例:delete link -l link 1

5.要修改的话就把delete换成update就可。

 

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值