sqoop-hive导出到mysql常用命令

最新推荐文章于 2023-06-20 18:12:45 发布

Vivi_static

最新推荐文章于 2023-06-20 18:12:45 发布

阅读量275

点赞数

分类专栏：大数据技术相关框架

本文链接：https://blog.youkuaiyun.com/Vivi_static/article/details/111276978

版权

大数据技术相关框架专栏收录该内容

3 篇文章

订阅专栏

这篇博客介绍了如何使用Sqoop命令将HDFS的数据导出到MySQL业务数据库，包括设置队列名、指定数据库连接信息、用户名、密码、导出目录等参数。在操作中可能会遇到如字段非空、字段长度不足等错误，解决这些问题需要检查数据格式和数据库表结构的对应关系。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

【应用场景】

1 同步数据到业务数据库所使用的工具

【导出命令】

sqoop export -D mapred.job.queue.name=xx\
--table xx\
--connect jdbc:mysql://xx/xx\
--username xx\
--password xx\
--export-dir hdfs://xxxx \
#非必须参数，按列顺序导出
--columns a,b,c \
--input-fields-terminated-by '\t' \
--input-lines-terminated-by '\n' \
--input-null-string '\\N' \
--input-null-non-string '\\N' \
-m 2