Sqoop导入导出操作

原创已于 2022-02-21 20:09:26 修改 · 685 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hive #sqoop #big data #数据仓库 #etl

于 2022-02-13 00:05:12 首次发布

Sqoop 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了如何通过Sqoop在Linux环境中便捷地将MySQL数据库中的数据导入到Hive，以及如何将Hive中的数据导出回MySQL。提供了详细的命令行示例，包括连接参数、SQL查询语句以及字段分隔符的设置，帮助读者理解数据迁移的过程。

注意：请先配置好sqoop目录下bin文件夹的全局变量

以下代码直接把打在Linux的终端运行即可

从 mysq 导入数据到 hive

sqoop import \
--connect "jdbc:mysql://192.168.52.150:3306/库名?useUnicode=true&characterEncoding=utf-8" \
--username root \
--password 123456 \
--query "sql语句 where 1=1 and \$CONDITIONS" \
--fields-terminated-by '\t' \
--hcatalog-database hive库名 \
--hcatalog-table hive表名 \
-m 1

从 hive 导出数据到 mysql

sqoop export \
--connect "jdbc:mysql://192.168.52.150:3306/mysql库名?useUnicode=true&characterEncoding=utf-8" \
--username root \
--password 123456 \
--table mysql表名 \
--hcatalog-database hive库名 \
--hcatalog-table hive表名 \
-m 1