本机spark 通idea连接Oracle的坑

原创 已于 2023-11-10 09:17:49 修改 · 848 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #大数据 #分布式

于 2023-10-27 17:47:59 首次发布
文章讲述了在IDEA中遇到ScalaNoSuchMethodError，原因是项目POM中的Spark版本与IDEA默认Scala版本（2.11）不匹配。解决办法是将POM中的Scala版本改为2.11.x，或更新IDEA至支持的scala版本。

1. 报错：Exception in thread "main" java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V

查询网上资料，是idea引入的scala运行环境版本与idea默认的scala版本不一样

也就是写的项目中的pom的spark版本与idea默认的版本不一致

解决方法：将po的版本修改成和idea的一致

        或者修改idea的版本也行吧，这个我没试

参考文档：Exception in thread "main" java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V_"exception in thread \"main\" java.lang.nosuchmeth-优快云博客

在idea查看scala的版本

file->project-structrue->Global Libraries->scala-sdk

版本是2.11的，所以把pom改成2.11.x就可以了

pom

本地模式调试Spark程序（IDEA）
qq_36964872的博客
10-20 1961
0、安装好jdk环境 1、下载hadoop对应的压缩包，解压至本地磁盘目录，并配置好环境变量 添加到Path中 2、需要注意的是，需要将本地JAVA_HOME在hadoop解压缩的目录D:\hadoop-2.9.2\etc\hadoop 下的文件 hadoop-env.cmd进行修改 原JAVA_HOME路径中有（Program File）包含了空格，需要将其修改为（Progra~1），修改后的效果如下 3、最后下载本地执行程序时需要用到的一些脚本文件 winutils，选择对应的
大数据：Spark直连Oracle数据库
weixin_42913025的博客
10-17 1389
前面我们已经把大数据平台搭建完成了，接下来是怎么应用大数据这件威力巨大的武器了。因为作者目前在一家传统型制造企业，很多业务和数据都是基于传统关系型数据库展开的，数据源大部分都存在Oracle、Mysql、PostgreSQL等传统关系型数据库，所以如何跟大数据平台建立联系，或者说让大数据技术更接地气，是应用大数据技术最好的实践。本文从一个初学者的角度去实践Spark访问Oracle数据库的过程。 ...
maven 项目连接oracle数据库
·廢墟·
09-28 2547
先： 在pom.xml 文件里面加入依赖   <dependency>   <groupId>com.oracle</groupId>   <artifactId>ojdbc14</artifactId>   <version>10.2.0.1.0</version>   <scope&
idea连接spark的环境配置
u012447842的博客
07-17 9869
Idea 连接Spark集群 两种方式：sbt和maven 1： 使用maven方式 Idea 连接Spark集群的详细步骤如下： 先在本地安装 scala 和 java ,   scala下载地址：   https://downloads.lightbend.com/scala/2.12.6/scala-2.12.6.msi java 下载地址：   http://www.oracl...
IntelliJ IDEA创建一个spark的项目
biqidaoer的专栏
12-08 2264
在开始之前，需要说明的是 要跑通基本的wordcount程序，是不需要在windows上安装 hadoop 和spark的，因为idea在跑程序的时候，会按照 pom.xml配置文件，从指定的 repository源，按照properties指定的版本，下载dependency中指定的依赖包。如果需要在本地通过-shell，或者 运行开发完的包，那么就需要完整的hadoop 和spark环境，就需要把这两个都安装好。
如何在idea中写spark程序
Qinyu_6的博客
04-28 1080
生成好的JAR包就出现在了project目录中的out/artifacts文件夹中，直接ctrl+c拷贝出来，并使用ftp工具将数据文件kmeans_data.txt与JAR包传输到我们的集群主节点中，同时将 kmeans_data.txt存储到HDFS中，这样就可保证每个节点都有一份数据，不然需要使用parallelize进行分发，具体我们这里不详细描述，可以参考OREILLY图书《Learning Spark》。由于运行环境已经有Scala相关类包，所以在这里去除这些包只保留项目的输出内容。
本地idea跑spark任务
weixin_41336669的博客
08-12 398
如何在本地IDEA中运行Spark任务 在大数据的世界中，Apache Spark是一个强大的引擎，支持大规模的数据处理。对于刚刚入门的开发者来说，理解如何在本地环境中使用IDEA运行Spark任务是一个重要的基础。本文将为你详细介绍这一过程，帮助你快速上手。 流程概述 以下是运行Spark任务的主要步骤： 步骤 描...
使用Idea连接oracle的方法
wzz87的博客
02-13 1741
<dependency> <groupId>com.oracle</groupId> <artifactId>ojdbc8</artifactId> <version>12.2.0.1.0</version> </dependency> 编译 mvn inst
Spark——Spark读写Oracle
aof
04-29 1730
<dependency> <groupId>com.oracle.database.jdbc</groupId> <artifactId>ojdbc8</artifactId> <version>12.2.0.1</version> </dependency> def readOracle(spark: SparkSession): Unit = { val prop = new
Intellij IDEA 搭建Spark开发环境说明
07-04
在进行详细知识点说明之前，需要明确本文档是一篇关于如何在Windows 7环境下使用IntelliJ IDEA来搭建Apache Spark开发环境的指南。Apache Spark是一个快速、通用的分布式计算系统，它提供了一个高层次的API，支持...
在IDEA中配置Oracle数据库驱动（java.lang.ClassNotFoundException: oracle.jdbc.driver.OracleDriver）
weixin_44912627的博客
05-25 6466
连接oracle数据库时，一直报错找不到驱动，后来发现自己没整驱动: 将驱动jar包房入jdk1.8的jre的lib中，如下图： 然后打开IDEA，如下操作：点击添加，把jar添加进去 好了，这样再去执行就成功了。 ...
idea怎么连接spark
06-15
</think>### IntelliJ IDEA 连接 Spark 配置指南 #### 一、环境准备（必需） 1. **JDK安装** - 下载 Oracle JDK 1.8+（推荐 JDK 8/11/17） - 配置环境变量：命令行执行 `java -version` 验证安装 - 问题排查...
spark-submit 常用方式
最新发布
larance的挨踢生活
11-24 39
将 spark-python.py 这个 PySpark 应用程序提交到位于 node03:7077 的 Spark 集群上，在多个工作节点上分布式并行执行"在本地机器上使用2个CPU核心，以并行方式运行名为 spark-python.py 的 PySpark 应用程序。# 更完整的提交命令示例。# 带更多配置的集群提交。
Spark SQL 简介
好记性不如烂笔头
11-23 533
Spark SQL 是 Spark 用于结构化数据处理的模块，对于开发人员来讲，Spark SQL 可以简化 RDD 的开发，提高开发效率，且执行效率非常快，所以实际工作中，基本上采用的就是 Spark SQL。Spark SQL 为了简化 RDD 的开发，提高开发效率，提供了两个编程抽象，类似 Spark Core 中的 RDD。即 DataFrame 和 DataSet。
Spark 部署模式
好记性不如烂笔头
11-20 928
所谓 Local 模式，就是不需要其他任何节点资源就可以在本地执行 Spark 代码的环境，一般用于教学、调试、演示等。
java.io.FileNotFoundException: File does not exist: hdfs://master:9000/sparklog
qq_43494013的博客
11-22 273
java.io.FileNotFoundException: File does not exist: hdfs://master:9000/sparklog
【开题答辩全过程】以 基于Spark的药品库存可视化分析系统为例，包含答辩的问题和答案
sheji3416的博客
11-23 573
本文介绍了一位拥有14年项目开发经验的毕设指导专家，擅长Java、Python等多种编程语言，提供项目定制、代码讲解、答辩辅导等服务。重点展示了一个药品库存可视化分析系统的毕业设计案例，系统采用Spark框架处理海量数据，ECharts实现可视化，包含数据采集、清洗、分析和展示四大模块。文中详细记录了学生答辩过程，涉及技术选型理由、数据采集方式、算法应用等关键问题的问答内容，并附有评委老师的专业点评和建议。最后提供开题报告参考和毕设辅导服务信息，适合正在准备毕业设计的学生参考借鉴。
Spark基于内存计算的数据处理
usa_washington的博客
11-23 207
【代码】Spark基于内存计算的数据处理。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值