sqoop1的安装-基本操作

最新推荐文章于 2022-10-12 11:37:54 发布

weixin_33831673

最新推荐文章于 2022-10-12 11:37:54 发布

阅读量160

点赞数

文章标签：数据库 python 大数据

原文链接：https://my.oschina.net/u/3697442/blog/1563433

版权

本文详细介绍了如何使用Sqoop进行MySQL与HDFS之间的数据迁移，包括安装配置流程、基本操作命令及常见用例，如全量与增量导入、指定目录导出等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

一、安装
1.解压
2.配置
a：
$ cd $SQOOP_HOME/conf
$ mv sqoop-env-template.sh sqoop-env.sh
打开sqoop-env.sh并编辑下面几行：
export HADOOP_COMMON_HOME=/apps/hadoop-2.8.1/
export HADOOP_MAPRED_HOME=/apps/hadoop-2.8.1/
export HIVE_HOME=hadoop/apps/hive
b：vi ~/.bashrc
export SQOOP_HOME=/apps/sqoop1
export PATH=$PATH: SQOOP_HOME/bin

source ~/.bashrc
3.加入mysql的jdbc驱动包
cp ~/app/hive/lib/mysql-connector-java-5.1.28.jar $SQOOP_HOME/lib/

二、基本操作
注意：从word复制的 -- 有问题！！！
1.MySQL to HDFS
sqoop import \
--connect jdbc:mysql://192.168.222.140:3306/mytest \
--username root \
--password briup \
--table balance --m 1
2.MySQL to Hive
sqoop import --connect jdbc:mysql://192.168.222.140:3306/mytest --username root --password briup --table balance --hive-import --m 1
3.Mysql to HDFS指定目录
sqoop import \
--connect jdbc:mysql://192.168.222.140:3306/mytest \
--username root \
--password briup \
--target-dir /queryresult \
--table balance --m 1
4.HDFS to MySQL
sqoop export \
--connect jdbc:mysql://node4:3306/mytest \
--username root \
--password briup \
--table balance \
--export-dir /queryresult/
5.导入表数据子集
sqoop import \
--connect jdbc:mysql://node4:3306/mytest \
--username root \
--password briup \
--where "id=2" \
--target-dir /wherequery \
--table balance --m 1
6.增量导入
sqoop import \
--connect jdbc:mysql://node4:3306/mytest \
--username root \
--password briup \
--table balance --m 1 \
--incremental append \
--check-column id \
--last-value 3