Sqoop导入导出操作

竹长大大

已于 2022-02-21 20:09:26 修改

阅读量671

点赞数 1

CC 4.0 BY-SA版权

分类专栏： # Sqoop 文章标签： hive sqoop big data 数据仓库 etl

于 2022-02-13 00:05:12 首次发布

本文链接：https://blog.youkuaiyun.com/qq_17685725/article/details/122904237

Sqoop 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了如何通过Sqoop在Linux环境中便捷地将MySQL数据库中的数据导入到Hive，以及如何将Hive中的数据导出回MySQL。提供了详细的命令行示例，包括连接参数、SQL查询语句以及字段分隔符的设置，帮助读者理解数据迁移的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

注意：请先配置好sqoop目录下bin文件夹的全局变量

以下代码直接把打在Linux的终端运行即可

从 mysq 导入数据到 hive

sqoop import \
--connect "jdbc:mysql://192.168.52.150:3306/库名?useUnicode=true&characterEncoding=utf-8" \
--username root \
--password 123456 \
--query "sql语句 where 1=1 and \$CONDITIONS" \
--fields-terminated-by '\t' \
--hcatalog-database hive库名 \
--hcatalog-table hive表名 \
-m 1

从 hive 导出数据到 mysql

sqoop export \
--connect "jdbc:mysql://192.168.52.150:3306/mysql库名?useUnicode=true&characterEncoding=utf-8" \
--username root \
--password 123456 \
--table mysql表名 \
--hcatalog-database hive库名 \
--hcatalog-table hive表名 \
-m 1