Spark Hive使用中遇到的坑

最新推荐文章于 2023-12-27 14:59:51 发布

shipengyy

最新推荐文章于 2023-12-27 14:59:51 发布

阅读量6.3k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/shipengyy/article/details/40581499

本文介绍了一个关于Spark 1.0.2版本中集成Hive的问题及解决方案。作者在将spark-assembly部署到YARN集群时遇到错误，通过调整Datanaucleus JAR包的加载方式解决了问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

当前使用的spark版本是1.0.2，spark-assenbly已经包含了hive，可以直接使用。

Spark hive通过把hive-site.xml加载到classpath中的方式来读取hive连接元数据，我这里通过java代码动态的把hive-site.xml加载到classpath里

String hiveConfDir = System.getenv( "HIVE_CONF_DIR" );
File hivePath = new File( hiveConfDir );
URLClassLoader classLoader = (URLClassLoader) ClassLoader.getSystemClassLoader();
Method add = URLClassLoader.class.getDeclaredMethod( "addURL", new Class[]{URL.class} );
add.setAccessible( true );
add.invoke( classLoader, hivePath.toURI().toURL() );

然后把spark-assenbly上传到hdfs上，通过sparkSubmit.main提交代码，local模式下运行正常，但是提交到yarn-clusters上执行的时候，

Caused by: org.datanucleus.exceptions.NucleusUserException: Persistence process has been specified to use a ClassLoaderResolver of name "datanucleus" yet this has not been found by the DataNucleus plugin mechanism. Please check your CLASSPATH and plugin specification.
	at org.datanucleus.NucleusContext.<init>(NucleusContext.java:280)
	at org.datanucleus.NucleusContext.<init>(NucleusContext.java:244)
	at org.datanucleus.NucleusContext.<init>(NucleusContext.java:222)
	at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.<init>(JDOPersistenceManagerFactory.java:409)
	at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.createPersistenceManagerFactory(JDOPersistenceManagerFactory.java:294)
	at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.getPersistenceManagerFactory(JDOPersistenceManagerFactory.java:195)

仔细check了代码之后，感觉是datanucleus jar包加载的问题，把assenbly解开，发现里面有datanucleus-rdbms-3.2.1.jar，datanucleus-core-3.2.2.jar，datanucleus-api-jdo-3.2.1.jar 3个jar包，把这3个jar单独拿出来，放到classpath里面，用--jars作为本地jar重新提交代码，作业成功。