Sqoop测试

本文详细介绍如何使用Sqoop工具从关系型数据库导入数据到Hadoop生态系统的多种方式,包括导入到HDFS、Hive,以及指定目录和条件的数据导入。同时,文章还介绍了如何创建、执行和删除Sqoop作业。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

假设数据库sqoop1中有一个emp表,用emp表来进行sqoop测试

在sqoop目录下:
导入emp表到HDFS
  ./bin/sqoop import
  --connect jdbc:mysql://cdh:3306/sqoop1
  --username root --password 123456
  --table emp --m 1
在这里插入图片描述
在这里插入图片描述
导入emp表到HIVE
  ./bin/sqoop import
  --connect jdbc:mysql://cdh:3306/sqoop1
  --username root --password 123456
  --table emp --hive-import
  --m 1
在这里插入图片描述
在这里插入图片描述
导入emp表到HDFS指定目录
  ./bin/sqoop import
  --connect jdbc:mysql://cdh:3306/sqoop1
  --username root --password 123456
  --target-dir /queryresult
  --table emp --m 1
在这里插入图片描述
  在这里插入图片描述
导入emp表数据子集
  ./bin/sqoop import
  --connect jdbc:mysql://cdh:3306/sqoop1
  --username root --password 123456
  --where “name=‘zhangsan’”
  --target-dir /wherequery3
  --table emp --m 1
在这里插入图片描述
在这里插入图片描述
按需导入emp表数据
  ./bin/sqoop import
  --connect jdbc:mysql://cdh:3306/sqoop1
  --username root --password 123456
  --target-dir /wherequery4
  --query ‘select id,name from emp where id>1 and $conditions’
  --split-by id
  --fields-terminated-by ‘\t’
  --m 1
在这里插入图片描述
在这里插入图片描述
将HDFS中/wherequery3目录下文件导出到数据库中
这里不再创建新表,直接导出到emp表中
  ./bin/sqoop export
  --connect jdbc:mysql://cdh:3306/sqoop1
  --username root --password 123456
  --table emp
  --export-dir /wherequery3
在这里插入图片描述
在这里插入图片描述

sqoop作业:
  创建作业(create)
  创建一个名为myjob的作业,可以将RDBMS表数据导入到HDFS上.
  ./bin/sqoop job
  --create myjob
  – import (注意import前有空格)
  --connect jdbc:mysql://cdh:3306/sqoop1
  --username root --password 123456
  --table emp
  --target-dir /emp_db/firstJob --m 1
  在这里插入图片描述
  验证作业是否创建成功
  ./bin/sqoop job --list
在这里插入图片描述
  根据job名称查看某一个job的具体信息
  ./bin/sqoop job --show myjob 在这里插入图片描述
  执行job
  ./bin/sqoop job --exec myjob
在这里插入图片描述
在这里插入图片描述
  删除job
  ./bin/sqoop --delete myjob

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值