Spark 1.6 (Java) 问题汇总

本文介绍了解决SparkSQL在读取Oracle数据时遇到的ClassNotFoundException问题。通过在Spark配置中明确指定Oracle JDBC驱动的路径,确保了Worker节点能够正确加载所需的JDBC驱动,从而实现了从Oracle数据库中成功读取数据。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、通过SparkSQL读取Oracle时报找不到Oracle JDBC包 (java.lang.ClassNotFoundException:oracle.jdbc.driver.OracleDriver)


说明

程序是本地通过Java将Spark提交给集群运行,但是集群上面没有Oracle JDBC包


解决方法:

官网对于集群运行JDBC的说明:

Troubleshooting

  • The JDBC driver class must be visible to the primordial class loader on the client session and on all executors. This is because Java’s DriverManager class does a security check that results in it ignoring all drivers not visible to the primordial class loader when one goes to open a connection. One convenient way to do this is to modify compute_classpath.sh on all worker nodes to include your driver JARs.

但是在/etc/profile文件中添加jar路径并没有效果

最终找到方法需要在代码中指定Worker的jar依赖,当然jar包已经上传到每台Worker上,代码如下:

SparkConf conf = new SparkConf().setAppName("Test").setMaster("spark://master2:7077");
		<span style="font-size:14px;color:#ff0000;">conf.set("spark.driver.extraClassPath", "/data/ojdbc14-10.2.0.3.0.jar");
	       conf.set("spark.executor.extraClassPath", "/data/ojdbc14-10.2.0.3.0.jar");</span>

		JavaSparkContext sparkContext = new JavaSparkContext(conf);
		sparkContext.hadoopConfiguration().set("fs.defaultFS", "hdfs://mycluster");
		sparkContext.hadoopConfiguration().set("dfs.nameservices", "mycluster");
		sparkContext.hadoopConfiguration().set("dfs.ha.namenodes.mycluster", "nn1,nn2");
		sparkContext.hadoopConfiguration().set("dfs.namenode.rpc-address.mycluster.nn1", "xx.xx.xx.xxx:8020");
		sparkContext.hadoopConfiguration().set("dfs.namenode.rpc-address.mycluster.nn2", "xx.xx.xx.xxx:8020");
		sparkContext.hadoopConfiguration().set("dfs.client.failover.proxy.provider.mycluster","org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");

		
		SQLContext sqlContext = new SQLContext(sparkContext);
		Map<String, String> options = new HashMap<String, String>();
		options.put("url", "jdbc:oracle:thin:mioclub/mioclub3728@(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST=myrac-scan.mic.com.tw)(PORT=1521)))(CONNECT_DATA=(SERVICE_NAME=myrac.mic.com.tw)))");
		options.put("dbtable", "mio_login_transfer");
		options.put("driver", "oracle.jdbc.driver.OracleDriver");
		DataFrame jdbcDF = sqlContext.read().format("jdbc"). options(options).load();
		Row a  = jdbcDF.first();
		
		DataFrame d2 = jdbcDF.limit(10);
		d2.rdd().saveAsTextFile("/Test/sql.txt");



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值