关于在本地idea当中提交spark代码到远程的错误总结（第三篇）

最新推荐文章于 2022-06-12 10:12:49 发布

weixin_30432179

最新推荐文章于 2022-06-12 10:12:49 发布

阅读量351

点赞数

CC 4.0 BY-SA版权

文章标签：大数据开发工具

原文链接：http://www.cnblogs.com/gxgd/p/10179193.html

本文解决在IDEA中使用SparkSQL处理Hive数据时遇到的NoClassDefFoundError错误。通过在SparkConf中设置spark.executor.extraClassPath指向Hive的lib路径，并将spark依赖包上传至HDFS，成功加载hive数据。

因为我们是在idea当中对hive的数据通过spark sql的形式进行处理的嘛，所以需要加载hive的表以及hive的数据，但是在加载的时候报错；报错信息如下;

 java.lang.NoClassDefFoundError: Lorg/apache/hadoop/hive/ql/plan/TableDesc

看到这里第一反应就是hive的相关包的没有加载了，于是我将他配置在yarn-site.xml的yarn.application.classpath当中。发现同样的问题还是会出现。在网上找的方法也是这样的，没办法只能在sparkcontext初始化的时候，实现对其进行配置了

配置如下

SparkConf conf = new SparkConf().setAppName("spark-onyarn-test").setMaster("yarn-client")
                .set("yarn.resourcemanager.hostname", "vm250-240")
                .set("spark.yarn.preserve.staging.files","false")
                .set("spark.executor.extraClassPath"," /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/lib/hive/lib/*") //这个就是hive的lib包下的所有的包信息。加载进去就可以了。数据完美输出。

                .set("spark.yarn.jar", "hdfs://vm250-240:8020/user/root/spark-assembly-1.6.0-cdh5.14.0-hadoop2.6.0-cdh5.14.0.jar") //这里是spark的依赖的包。我们把这个包上传到hdfs上实现数据文件的共享，不用每次都去加载上传，表现如下