sqoop将hive数据导入mysql报错

最新推荐文章于 2024-01-04 13:27:31 发布

x我有辣条跟我走。

最新推荐文章于 2024-01-04 13:27:31 发布

阅读量2.1k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/XIAOMO__/article/details/113381607

在尝试使用sqoop将hive表的数据导入到mysql时遇到了问题。错误源于hive中的id字段为null，且试图将其转换为uuid格式，但因uuid是string类型而id是int类型导致导入失败。此外，sqoop基于MapReduce，通过检查Hadoop日志（通过ip:8088端口）发现时间格式不正确也是报错原因之一。查阅相关资料，如《huozhanfeng在优快云上的文章》(https://blog.youkuaiyun.com/huozhanfeng/article/details/10502675)可能有助于解决问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

sqoop将hive中的数据导入到mysql中：

sqoop export \
--connect 'mysql的地址加端口/mysql中的表名?useUnicode=true&characterEncoding=utf-8' \

mysql的用户名密码

mysql中的表名

输入的格式

--export-dir "whereis hive的路径，精确到表" \
--input-fields-terminated-by '\t' \
--update-mode allowinsert


sqoop export \
--connect 'jdbc:mysql://ip:3306/safe_manager?useUnicode=true&characterEncoding=utf-8' \
--username root \
--password Free-Wi11 \
--table bigscreen_line1 \
--input-null-string '\\N' --input-null-non-string '\\N' \
--export-dir "/user/hive/warehouse/shanxi.db/line/batch_date=2021-01-27" \
--input-fields-terminated-by '\t' \
--update-mode allowinsert

报错日志：

21/01/29 13:10:31 INFO mapreduce.Job:  map 100% reduce 0%
21/01/29 13:10:31 INFO mapreduce.Job: Job job_1609311981015_1856 failed with state FAILED due to: Task failed task_1609311981015_1856_m_000000
Job failed as tasks failed. failedMaps:1 failedReduces:0 killedMaps:0 killedReduc