Sqoop2 使用

最新推荐文章于 2024-06-29 20:31:26 发布

原创最新推荐文章于 2024-06-29 20:31:26 发布 · 787 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Sqoop2

数据仓库与BI 专栏收录该内容

25 篇文章

订阅专栏

本文介绍如何解决Sqoop2在从MySQL导入数据到Hive和HBase过程中遇到的两个常见问题：NoClassDefFoundError错误和数据导入失败。通过调整Hadoop客户端的jar包链接和设置正确的HDFS权限，可以有效解决这些问题。

Sqoop2的安装与使用

使用Sqoop从MySQL导入数据到Hive和HBase 及近期感悟

Sqoop User Guide

问题1： java.lang.NoClassDefFoundError: org/codehaus/jackson/map/JsonMappingException
解决办法：

cd /opt/cloudera/parcels/CDH/lib/hadoop/client
sudo ln -s ../../hadoop-hdfs/lib/jackson-mapper-asl-1.8.8.jar .
sudo ln -s ../../hadoop-hdfs/lib/jackson-core-asl-1.8.8.jar .

然后重启 Sqoop2，再运行，就OK了。
CDH官方论坛上方案详细

问题2 ：如果遇见总是 RUNNING - 0.00 % ，然后最后 failed，检查一下log，看下是不是hdfs的权限问题，
解决办法：sqoop2 会默认以用户名 sqoop2 ，向 hdfs 提交数据，所以最好以sqoop2 用户新建一个文件来写入，不然写入其他用户名下的文件夹时会提示没有写入权限