【IDEA】阅读Spark源码，配置Scala SDK

最新推荐文章于 2023-10-02 16:53:16 发布
原创 最新推荐文章于 2023-10-02 16:53:16 发布 · 285 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何解决IDEA中Spark源码因ScalaSDK导致的一系列报错问题，包括删除原有ScalaSDK，重新安装及配置过程，以及使用ivy或maven作为包管理工具的说明。

很久没有看 Spark 的源码了，打开 IDEA，一堆报错，看了一下主要是 Scala 的问题，所以先删掉了 IDEA 里下载的 Scala SDK，然后重新安装，重新配置。
观看视频，最后可以看到，如果是通过 IDEA 来下载 Scala SDK 的包，默认是用 ivy 来做包管理工具的，你也可以用 maven 来下载，下载好后指定到 maven 下载到的地址。

【IDEA】Spark源码配置Scala SDK

Spark源码学习之IDEA源码阅读环境搭建
一入大数据深似海?别怕!“数据极客圈”就是你的救生圈，走对圈子跟对人，趣析数据、畅聊趋势，快进圈子!
10-06 1246
软件准备 （1）Java 1.8 （2）Scala 2.11.12（需要在IDEA中安装） （3）Maven 3.8.2（需要在IDEA中配置） （4）Git 2.33 以上软件需要安装好，并进行环境配置。 （5）spark 2.4.3 源码（官网可下载） 编译源码 （1）修改MAVEN_OPTS，增加Maven编译时内存的大小： 在Maven安装目录下找到bin/mvn.cmd文件，打开在文件中添加 MAVEN_OPTS="-Xmx2g -XX:MetaspaceSize=2G -XX:Reserve
分析Spark源码第一步——搭建源码阅读环境
midsummer
05-29 6483
为了深入理解spark，想了解一下源码，故搭建了一下源码阅读环境。我是在windows环境下进行的。 step1:工具的获取 我安装的软件及版本如下，搭建之前请安装好这些： (1)java1.8 (2)scala 安装可参考http://www.runoob.com/scala/scala-install.html (3)maven 参考 https://www.yiibai.com...
spark源码以及官方的示例（方便阅读源码学习）
07-08
搜集好了的spark源码以及官方案例，方便感兴趣的人阅读源码去学习。:-D，
IDEA阅读Spark源码
weixin_30892889的博客
10-19 162
将spark编译成idea-sbt工程 tar -zxvf spark-1.1.0.tgz cd spark-1.1.0 sbt/sbt gen-idea 等待…… 成功后就能以SBT工程的形式导入idea进行阅读运行。 如果提示栏出现如下的提示内容"is waiting for .sbt.ivy.lock"，说明该lock文件无法创建...
Spark源码编译Idea for Mac
话数Science
10-02 287
参考：https://blog.51cto.com/wangyuguo/1981837#:~:text=-%20%E6%89%93%E5%BC%80View%20-%3E%20Tool%20Windows%20-%3E%20Maven%20Projects,do%20can%20resolve%20type%20SparkFlumeProtocol%20not%20found%20issue.2.运行example目录下的JavaLogQuery样例。随后，Idea会自动下载Flume Sink相关的包。
IDEA中导入Spark源码并编译Scala程序指南
本文档“读书笔记：IDEA上导入spark源码阅读步骤即在IDEA上对scala程序编译”正是围绕如何在IntelliJ IDEA集成开发环境中成功导入Spark源码并完成Scala程序的编译这一主题展开，涵盖了从环境准备到项目构建、再到...
IntelliJ IDEA配置Spark开发环境及Scala插件安装
资源摘要信息:"Spark开发环境配置及流程IntellijIDEA(1).docx" 是一份详细介绍如何在本地搭建基于IntelliJ IDEA的Apache Spark开发环境的技术文档，主要面向使用Scala语言进行Spark应用开发的程序员。该文档以实际...
idea配置spark和scala
最新发布
03-24
### 配置 IntelliJ IDEA 的 Spark 和 Scala 开发环境 #### 一、安装和配置基础插件 为了支持 Scala 项目的开发，首先需要确保 IntelliJ IDEA 中已经安装了必要的插件。具体操作如下： 1. 打开 IntelliJ IDEA 后，...
Intellij Idea中Spark与Scala集成测试项目
标题“SparkTest: Intellij Idea中的Spark Scala项目样本”揭示了一个用于学习和实践Apache Spark与Scala语言在Intellij IDEA集成开发环境（IDE）中协同工作的项目模板。该项目的核心目标是为开发者提供一个开箱即用...
Spark源码学习-windows使用idea搭建源码阅读集群
chenguangchun1993的博客
11-30 472
Windows下spark源码环境搭建
2 ，spark 电影点评项目 ： idea 项目构建，添加 scala sdk
孙砚秋的博客
09-27 544
1 ，创建 maven 项目 2 ，pom.xml ： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" x...
spark学习（一）spark/scala环境配置
墨夜之枫的博客
10-14 346
题目配置一台虚拟机spark 配置一台虚拟机spark 配置网络地址： 关闭防火墙： 打开SecureCRT 修改机器名字： 关闭防火墙： 重启： 重新连接： （四个回车） （输密码） 选择jdk1.8.0_162.tar.gz 克隆会话： 在原会话中解压jdk： 在克隆会话中： 在最下面加入以下两行： 上传：scala-2.10.6.tgz 到克隆会话中： 在主会...
【Scala】环境配置
dominic_z的博客
08-22 2026
最近开始学Scala了，刚安装就遇到了很多坑，共勉共勉 从https://www.scala-lang.org/download/下载Scala 由于Scala是运行在JVM上的，所以请确保你的机器上有JDK Scala有三种安装方式 这是其中两种： 首先来看左边的方法： 左面指的是通过IntelliJ来安装，IntelliJ是个很棒的编辑器，他可以维护多个版本的JDK，他的兄弟产...
Spark本地模式运行环境搭建
tyh1579152915的博客
03-12 2675
Spark运行环境搭建 文章目录Spark运行环境搭建前言一、本地模式1.1基于IDEA和Maven的Spark开发环境搭建1.1.1 IDEA中增加Scala插件1.1.2 配置全局的Scala SDK1.1.3 添加Spark依赖关系1.1.4 wordCount测试案例1.1.5 将程序打成jar包1.2 Spark Local 环境搭建和测试二、使用步骤1.引入库2.读入数据总结 前言 Spark程序有四种运行环境，分别如下： 本地模式 ​1、local -> 主要用于开发(IDEA中运行)
Scala IntelliJ添加Scala SDK
ThisIsNobody的博客
06-11 3万+
1. 右键项目名称找到Open Module Settings2. 左侧Project Settings目录中点击Libraries3. 点击+new Project Library选择Scala SDK4. 添加下载好的jar文件夹
Maven使用国内镜像
weixin_34050005的博客
03-12 231
^_^ &lt;mirrors&gt; &lt;!-- mirror | Specifies a repository mirror site to use instead of a given repository. The repository that | this mirror serves has an ID that matches the m...
idea配置scala-sdk
weixin_46305053的博客
04-17 1万+
社区版idea配置scala-sdk
Scala SDK及IDEA插件安装配置
热门推荐
flying_pig1989的博客
09-07 5万+
Linux CentOS6.5 Scala SDK安装配置 1. 下载Scala SDK安装包 下载地址：https://www.scala-lang.org/download/ 本文linux版本为：scala-2.11.12.tgz   2. 创建本地安装目录  mkdir -p /usr/local/scala-2.11.12/ 3. 解压scala-2.11.12.tgz至安...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值