Sqoop mysql导入Hive 报错Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.shims.ShimLo

最新推荐文章于 2024-08-03 14:21:47 发布

原创最新推荐文章于 2024-08-03 14:21:47 发布 · 1.4k 阅读

3 ·

CC 4.0 BY-SA版权

Sqoop 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了解决sqoop从mysql导入数据到hive时遇到的ClassNotFoundException错误的方法。通过将hive-shims相关的jar包从$HIVE_HOME/lib目录下复制到$SQOOP_HOME/lib目录下，成功解决了ShimLoader类未找到的问题，实现了数据的正常传输。

sqoop 从mysql导入hive时报如下错误

Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.shims.ShimLoader
	at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	... 17 more

复制$HIVE_HOME/lib下的hive-shims*的jar包到$SQOOP_HOME/lib下

[wzj@hadoop001 lib]$ cp hive-shims* /home/wzj/app/sqoop/lib
[wzj@hadoop001 sqoop]$ cd lib
[wzj@hadoop001 lib]$ ll hive-shims*
-rw-r--r--. 1 wzj wzj  59686 Dec 26 01:13 hive-shims-0.23-1.1.0-cdh5.16.2.jar
-rw-r--r--. 1 wzj wzj   9034 Dec 26 01:13 hive-shims-1.1.0-cdh5.16.2.jar
-rw-r--r--. 1 wzj wzj 111058 Dec 26 01:13 hive-shims-common-1.1.0-cdh5.16.2.jar
-rw-r--r--. 1 wzj wzj  15431 Dec 26 01:13 hive-shims-scheduler-1.1.0-cdh5.16.2.jar

再次运行命令，数据正常传输！