【IDEA】阅读Spark源码，配置Scala SDK

最新推荐文章于 2024-04-18 04:11:21 发布
最新推荐文章于 2024-04-18 04:11:21 发布
阅读量264 收藏
点赞数
分类专栏： JetBrains Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/oscarun/article/details/107744711
版权
本文介绍如何解决IDEA中Spark源码因ScalaSDK导致的一系列报错问题，包括删除原有ScalaSDK，重新安装及配置过程，以及使用ivy或maven作为包管理工具的说明。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

很久没有看 Spark 的源码了，打开 IDEA，一堆报错，看了一下主要是 Scala 的问题，所以先删掉了 IDEA 里下载的 Scala SDK，然后重新安装，重新配置。
观看视频，最后可以看到，如果是通过 IDEA 来下载 Scala SDK 的包，默认是用 ivy 来做包管理工具的，你也可以用 maven 来下载，下载好后指定到 maven 下载到的地址。

【IDEA】Spark源码配置Scala SDK

分析Spark源码第一步——搭建源码阅读环境
midsummer
05-29 6432
为了深入理解spark，想了解一下源码，故搭建了一下源码阅读环境。我是在windows环境下进行的。 step1:工具的获取 我安装的软件及版本如下，搭建之前请安装好这些： (1)java1.8 (2)scala 安装可参考http://www.runoob.com/scala/scala-install.html (3)maven 参考 https://www.yiibai.com...
IDEA开发Spark应用实战(Scala)
最新发布
2301_79055083的博客
05-03 1013
总的来说，面试是有套路的，一面基础，二面架构，三面个人。最后，小编这里收集整理了一些资料，其中包括面试题（含答案）、书籍、视频等。希望也能帮助想进大厂的朋友《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门，即可获取！进大厂的朋友**[外链图片转存中…(img-o4hqkc9t-1714665664802)][外链图片转存中…(img-e1bBYcl4-1714665664803)]《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》
IDEA阅读Spark源码
weixin_30892889的博客
10-19 134
将spark编译成idea-sbt工程 tar -zxvf spark-1.1.0.tgz cd spark-1.1.0 sbt/sbt gen-idea 等待…… 成功后就能以SBT工程的形式导入idea进行阅读运行。 如果提示栏出现如下的提示内容"is waiting for .sbt.ivy.lock"，说明该lock文件无法创建...
Spark源码学习之IDEA源码阅读环境搭建
2401_84009054的博客
04-18 1032
阿里伤透我心，疯狂复习刷题，终于喜提offer 哈哈~好啦，不闲扯了1、JAVA面试核心知识整理（PDF）：包含JVMJAVA集合JAVA多线程并发，JAVA基础，Spring原理微服务，Netty与RPC，网络，日志，ZookeeperKafkaRabbitMQ，Hbase，MongoDB设计模式负载均衡数据库一致性哈希JAVA算法数据结构，加密算法，分布式缓存，Hadoop，Spark，Storm，YARN，机器学习，云计算共30个章节。2、Redis学习笔记及学习思维脑图。
Spark源码学习-windows使用idea搭建源码阅读集群
chenguangchun1993的博客
11-30 430
Windows下spark源码环境搭建
Spark源码编译Idea for Mac
话数Science
10-02 200
参考：https://blog.51cto.com/wangyuguo/1981837#:~:text=-%20%E6%89%93%E5%BC%80View%20-%3E%20Tool%20Windows%20-%3E%20Maven%20Projects,do%20can%20resolve%20type%20SparkFlumeProtocol%20not%20found%20issue.2.运行example目录下的JavaLogQuery样例。随后，Idea会自动下载Flume Sink相关的包。
详解IntelliJ IDEA创建spark项目的两种方式
08-26
IntelliJ IDEA是进行 Scala 开发的一个非常好用的工具，可以非常轻松查看 Scala 源码，当然用它来开发 Java 也是一样爽的。在使用 IntelliJ IDEA 创建 Spark 项目时，需要了解两种不同的方式，这两种方式可以帮助...
2 ，spark 电影点评项目 ： idea 项目构建，添加 scala sdk
孙砚秋的博客
09-27 414
1 ，创建 maven 项目 2 ，pom.xml ： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" x...
spark源码以及官方的示例（方便阅读源码学习）
07-08
搜集好了的spark源码以及官方案例，方便感兴趣的人阅读源码去学习。:-D，
spark学习（一）spark/scala环境配置
墨夜之枫的博客
10-14 318
题目配置一台虚拟机spark 配置一台虚拟机spark 配置网络地址： 关闭防火墙： 打开SecureCRT 修改机器名字： 关闭防火墙： 重启： 重新连接： （四个回车） （输密码） 选择jdk1.8.0_162.tar.gz 克隆会话： 在原会话中解压jdk： 在克隆会话中： 在最下面加入以下两行： 上传：scala-2.10.6.tgz 到克隆会话中： 在主会...
【Scala】环境配置
dominic_z的博客
08-22 1991
最近开始学Scala了，刚安装就遇到了很多坑，共勉共勉 从https://www.scala-lang.org/download/下载Scala 由于Scala是运行在JVM上的，所以请确保你的机器上有JDK Scala有三种安装方式 这是其中两种： 首先来看左边的方法： 左面指的是通过IntelliJ来安装，IntelliJ是个很棒的编辑器，他可以维护多个版本的JDK，他的兄弟产...
Scala SDK及IDEA插件安装配置
热门推荐
flying_pig1989的博客
09-07 5万+
Linux CentOS6.5 Scala SDK安装配置 1. 下载Scala SDK安装包 下载地址：https://www.scala-lang.org/download/ 本文linux版本为：scala-2.11.12.tgz   2. 创建本地安装目录  mkdir -p /usr/local/scala-2.11.12/ 3. 解压scala-2.11.12.tgz至安...
Spark开发环境配置(windows/Intellij IDEA 篇)
a_step_further的博客
04-18 1万+
Intellij IDEA是一个蛮不错的IDE，在java/scala/Groovy领域深得人心。笔者之前使用的是Eclipse那一套开发环境，虽然也不错，但忍不住好奇心的驱使，折腾了一下IDEA，发现写起Spark程序来，“哎呦，不错哟！”，故总结一下在windows系统中的配置过程(在mac下的配置其实更简单一些)，自己琢磨时还是费了点劲的，网上各种教程新旧正误繁杂，好不麻烦，加上笔者工作中最
Idea配置scala-sdk支持
日三醒而智明
07-30 5072
前提： 当前系统为windows系统 已经安装jdk8 已经安装idea 1、idea安装scala插件 在File--Settings--Plugins中搜索scala, 进行安装 2、选择合适的Scala SDK版本 在File--Project Struncture--Global Library中 4、官网下载（http://www.scala-lang.org/downloads）Scala-SDK二进制包，解压到本地磁盘 5、指定...
spark core源码阅读-RDD详细介绍(四)
吃货先生的博客
02-11 4889
之前对RDD有一个大体概念了解,这一节我们需要深入了解它,了解在源码中到底是什么, 怎么产生的,给个rdd之间怎么依赖的,最后又怎么生成spark job 我们还是先从一个例子下手: val sc = new SparkContext(sparkConf) val res = sc .textFile(args(0)) .flatMap(line =&gt; line.spli...
【Spark内核源码】Spark源码环境搭建
lazy_moon的博客
10-09 2080
目录 准备条件 下载spark源码，并解压 打开spark源码下的pom.xml文件，修改对应的java和intellij里的maven版本 打开intellij，Inport Project，将源码导入intellij中 问题总结（十分重要） Maven编译打包前的准备 Maven编译打包 准备条件 1、下载安装intellij 2、下载安装jdk1.8 3、下载安装scala...
Spark源码学习——用IntelliJ IDEA看spark源码
Miracle_shen的博客
05-28 8814
windows + Intellij IDEA打造Spark源码阅读环境 1.Spark源码阅读环境的准备 Spark源码是有Scala语言写成的，目前，IDEA对Scala的支持要比eclipse要好，大多数人会选在在IDEA上完成Spark平台应用的开发。因此，Spark源码阅读的IDE理所当然的选择了IDEA。 本文介绍的是Windows下的各项配置方法（默
IDEA查看scala源代码
qq_37812505的博客
04-23 3607
转自：https://www.cnblogs.com/mlyflow/articles/9718820.html 在查看scala源码时，通常需要下载------>然而一般会报 Library sources not found for scala-library in Intellij错。这时只需将scala源码下载下来添加到sdk设置里就OK。 1、下载源代码 点击这个链接：htt...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值