Hive用sqoop传递表到mysql中

cxfxsl

于 2021-11-30 16:34:23 发布

阅读量1.7k

点赞数

CC 4.0 BY-SA版权

文章标签： sqoop mysql 数据库 hive

本文链接：https://blog.youkuaiyun.com/cxfxsl/article/details/121636478

这篇博客介绍了如何使用Sqoop工具将Hive中的数据导出到MySQL数据库。具体步骤包括设置数据库连接信息、指定用户名和密码、定义表名、设置映射器数量以及数据分隔符等参数。确保Hive表结构与MySQL表结构一致是成功导出的关键。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >


--eg：前提是hive中的表结构，必须和mysq中的一致。

sqoop export 
--connect jdbc:mysql://（要连接的数据库的网址id）:（端口号）/（库名）
--username （数据库的用户名） --password （数据库密码）
--table （数据库里要放进去的表名  注：必须是提取创好的，而且还要跟hive的字段表名都一致） --num-mappers 1 
--export-dir （/user/hive/warehouse/lianxi.db/text_id    注：hive表是在hadoop：50070里的路径里选择）
--input-fields-terminated-by "\t";   （"\t"  这里的\t 是分割符）



举例：


sqoop export --connect jdbc:mysql://10.39.201.254:3306/rdfa_xinao_energy_demo --username xinao_energy_rw --password 48lKogLmysh2BkOVUtdpPCeW --table climate_area_energy --num-mappers 1 --export-dir /user/hive/warehouse/climate_area_energy --input-fields-terminated-by "\t";