IDEA 搭建 Spark 源码 (Ubuntu)

最新推荐文章于 2022-07-10 23:21:12 发布
原创 最新推荐文章于 2022-07-10 23:21:12 发布 · 251 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

在Ubuntu环境下，使用IDEA搭建Spark 2.4.3源码，通过Maven进行编译时遇到错误：Failed to execute goal net.alchim31.maven:scala-maven-plugin。问题源于找不到"javac"编译器。解决方案是修改pom.xml文件以解决Java编译器路径问题。

版本：Spark 2.4.3/JDK 1.8/Scala 2.11.0

1、选择Spark版本、压缩包下载。

2、IDEA中左下角Terminal下输入： mvn -DskipTests clean package

3、Maven工程导入到IDEA中

 

 

 

 

问题：

在Lifecycle下点击clean、install后出现：

Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:compile (scala-compile-first) on project spark-sql_2.11: wrap: java.io.IOException: Cannot run program "javac": error=2, 没有那个文件或目录 -> [Help 1]

解决办法：修改pom.xml文件

...

 

 

wjunneng
关注
在ubuntu上构建并配置Spark的IDE开发环境
WEL测试
09-23 1494
从网上下载相关的的IDEA的版本，由于我的java版本是1.7的，我下载的版本是IDEAIC_2017.2.4的包，导致后面无法加载jdk！最后我更换为IDEA 13.1.7的！下面的安装步骤截图是IDEAIC_2017.2.4，IDEA13.1.7安装步骤也是一样的： 第一部分：安装并配置IDEA 第一步：创建安装目录并解压安装包 第二步：把解压文件移动到到创建的目录中：
使用IntelliJ IDEA配置Spark应用开发环境及源码阅读环境
蓁蓁尔的博客
10-19 3368
在本地搭建好Spark 1.6.0后，除了使用官方文档中的sbt命令打包，spark-submit提交程序外，我们可以使用IntelliJ IDEA这个IDE在本地进行开发调试，之后再将作业提交到集群生产环境中运行，使用IDE可以提升我们的开发效率。转载请注明博客原文地址：http://blog.tomgou.xyz/shi-yong-intellij-ideapei-zhi-sparkying-y
Ubuntu 14.04 下使用IDEA开发Spark应用 入门
weixin_30329623的博客
12-15 145
网上有很多教程，有用sbt ，也有不用sbt的，看的头大，搞了半天，终于运行成功一个例子，如下： 1.官网下载http://www.jetbrains.com/idea/download/ Interlij IDEA，用conmmunity Edition 就够了 2.启动起来以后，在插件搜索里面 选择scala ，安装。 3.创建scala Project ，设置名称，JDK和S...
idea中编译DataSphereStudio编译方法及问题排查
凌大大的博客
01-02 4175
DataSphereStudio在idea中编译经历及问题排查 编译gbk的不可映射字符
打包时：Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:compile (default) on project
weixin_46014882的博客
11-10 1578
报错信息： Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:compile (default) on project sparkmaven: wrap: org.apache.commons.exec.ExecuteException: Process exited with an error: 1 (Exit value: 1) 解决方案： 1.先查看版本是否有冲突（即检查pom.xml中的scala版本与你下载的sca
Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:compile问题解决
热门推荐
一昕之代码专栏
08-15 4万+
看一个转载的帖子，非常有帮助 链接这里:转载原文 解决方法1 转载：http://www.cnblogs.com/war3blog/p/7864804.html 在编译spark源码的时候老师报类似的错误然后在spark 文件夹下的pom.xml里加入如下依赖，源码编译就没有报错成功编译出来了 修改spark源码下的 pom.xml 文件 <dependency> &...
Ubuntu18.04中idea的spark环境配置
最新发布
11-29
5. **创建Scala/SBT项目**：在IntelliJ IDEA中，通过"File" > "New" > "Project from Existing Sources"，选择"Scala"，然后指定Spark的scala源码目录（通常是$SPARK_HOME/scala）。 6. **配置SBT项目**：在新项目...
在IDEA中利用Maven创建Spark项目
小小良
06-08 2684
1、安装相应sdk及环境变量配置 （1）安装java-sdk （2）安装scala-sdk （3）安装spark 2、安装IDEA 从官网下载安装包，常规安装，在Plugins中添加所需的插件，scala等 3、maven配置 打开maven存放文件夹找到 conf ->settings.xml 找到<mirrors>节点 把下面内容写入节点内 配置为阿里云的镜像 　　<mirror> <id>alimaven</id>
eclipse如何导入Spark源码方便阅读
lzw2016的博客
03-09 1387
最近想看下spark sql的源码，就查了些相关文章。很多都是IDEA怎么导入的，还有就是谈到了自己编译spark源码再倒入，但我还没有强到修改源码的地步，所以跳过编译直接导入阅读源码，过程如下 下载spark源码 从 https://github.com/apache/spark 下载你需要的spark版本，如图 当然，也方便eclipse中 Ctrl+点击 来跳转到源码查看。具体是Atta...
HDFS-Spark-Hudi环境的搭建及测试
老张的哲学
07-10 1361
由于需要进行Hudi的详细选型，本文从0开始搭建一个Spark+Hudi的环境，并进行简单使用。1）假设在Linux进行环境安装，操作系统选择Ubuntu 22.04 LTS版本。2）Ubuntu的源配置清华源。3）JDK安装完毕（当前是1.8版本，1.8.0_333）。 2.2 localhost免密登录 3. Hadoop安装 Hadoop安装的是单节点伪分布式环境，版本选择和后继的Spark选择有关联。例如：Hadoop 3.2.3Hudi当前支持的是Spark3.2，对应的Spark也是3.2。1
关于Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.1:compile，论优快云博客质量下降问题
ls
04-19 2114
日常小错误，不是技术贴！ Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.1:compile怎么解决？ 最近一直在使用MAVEN做项目，对出现的这个问题发现了这个很无语的情况。 现在在优快云上的博客质量直线下降，在各个博客上浏览耗费大量时间，最后还是一头雾水。 我IDEA的MAVEN出现这个原因，仅仅是因为...
net.alchim31.maven:scala-maven-plugin：maven依赖无法下载或无法编译
bababuzaijia的博客
06-09 1万+
[ERROR] Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.0:compile (default) on project iteblog: wrap: org.apache.commons.exec.ExecuteException: Process exited with an error: 1 (Exit value: 1) -> [Help 1] [ERROR] [ERROR] To see the .
[ERROR] Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:compile (default) on proj
大JAVA解决方案
04-08 1万+
maven编译异常错误loading CharSequence class file is broken标签： maven broken2017年07月06日 11:09:381292人阅读 评论(0) 收藏 举报 分类：java/scala（5） 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u011098327/article/details...
[ERROR] Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:compile (default) ......
昨天感冒了的博客
11-01 1万+
idea打包的时候出现如下报错： [ERROR] Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:compile (default) on project CBFlowDataWithSasl: wrap: org.apache.commons.exec.ExecuteException: Process ex...
Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:testCompile问题解决
xiaoliuyiting的博客
09-12 3万+
解决方法1 转载：http://www.cnblogs.com/war3blog/p/7864804.html 在编译spark源码的时候老师报类似的错误然后在spark 文件夹下的pom.xml里加入如下依赖，源码编译就没有报错成功编译出来了 修改spark源码下的 pom.xml 文件 &lt;dependency&gt;         &lt;groupId&gt;net.alc...
基于IDEA构建Spark应用并部署
海锋博客
03-15 1093
前言本章将介绍如何通过IDEA构建Spark应用，并最终部署。构建应用Java应用1、新建一个maven项目，并在POM中添加如下依赖：&lt;properties&gt; &lt;project.build.sourceEncoding&gt;UTF-8&lt;/project.build.sourceEncoding&gt; &lt;java.version&gt;1.8&lt...
Ubuntu下如何用Intellij Idea运行scala及scala版spark
donger__chen的博客
01-01 1034
厦门大学数据库实验室
搭建Spark源码阅读环境：IDEA实战与配置指南
本文档详细介绍了如何搭建Spark源码阅读环境，以便深入理解Spark这一大数据处理框架的工作原理。Spark是一个庞大的开源项目，其代码库庞大且结构复杂，传统的文本查看工具难以应对这种需求，因此推荐使用IntelliJ ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值