spark源代码阅读用idea出现的问题

最新推荐文章于 2024-09-30 22:26:16 发布
原创 最新推荐文章于 2024-09-30 22:26:16 发布 · 761 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何在IDEA中导入Spark源码，并解决可能出现的编译问题，如找不到sparkflumeprotocol等类的情况。通过使用sbt插件进行编译，确保能够顺利查看Spark源代码。

最近想用idea研读下spark的源代码，毕竟是研究这个，看看代码装装逼也不错。。

在网上都有很多用idea导入spark源码的教程，中间可能后出现找不到sparkflumeprotocol等等的问题

这个主要的原因是因为idea的sbt插件的不完整。在编译的过程中可能会被防火墙给咔掉。。我猜的。。

在windows下看源码就在spark目录下使用sbt gen-idea的命令编译，时间超级长。。

保证得有git   sbt  scala 

之后再将spark编译好的成功导入idea中就不会找不到类和trait了~~

使用IntelliJ Idea开发Spark应用程序
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-05 6146
掌握使用IntelliJ Idea开发Spark应用程序的过程。1、使用IntelliJ Idea开发本地Spark应用程序。   2、部署分布式Spark应用程序。首先创建Spark应用程序，在本地运行并测试；然后修改Spark应用程序，访问分布式文件系统HDFS；最后将项目打为jar包，部署到Spark集群上执行。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2.3.2，Hadoop-2.7.3，IntelliJ Idea1、启动IntelliJ Idea。在终
intellij idea直接编译spark源码及问题解决
tanglizhe1105的博客
01-16 1万+
spark源码最容易的编译方式莫过于使用intel idea将源码文件夹直接当做工程打开。下载完所需的依赖包好，build -> Make Project即可！！！
Spark Maven 项目中编译能通过，但是出现红色波浪线的解决办法
fuyanqing123456的专栏
04-25 744
删除项目中的iml 文件，target 文件夹，重启idea;这种问题一般是因为缓存信息没有删除的原因 ~
在虚拟机使用idea sbt工程本地模式运行spark wordcount程序，报错Module ‘Main‘ production: sbt.internal.inc.CompileFailed
wh1t3zztjn的博客
09-30 1058
小知识分享：sparkContext.textFIle()中，总的来说有两个参数，分别是文件的路径和最小分区数，文件的路径可以是文档、文件夹、一个包含多个文件路径的列表和使用通配符来匹配多个文件。同样，分区数也不应该太大，否则可能会导致每个分区过小，增加调度开销。记住更改完后，记得点击图右上角的我用红框标注的地方，开始导入我们所需的依赖，这里需要同学们有耐心，因为在虚拟机中导入慢，idea反应慢，一定要等到它导入完依赖，否则在没有导入完后就运行spark wordcount程序会出现我的错误。
在IDEA中查看和跟踪Spark源码
基咯咯
04-08 4478
我们平时在写Spark项目代码时，有时候会需要查看spark相关函数的源码，此时我们可以按住Ctrl，然后点击相应函数，接着就能够跳转到spark源码中，不过这个前提条件就是需要首先在项目中导入spark相关源码。接下来就介绍下如何导入spark源码，并进行跟踪： 1、下载spark源码 在spark官网中，找到source code，并下载 2、解压到指定目录 将源码解压到指定目中：...
spark源码查看
hanxiaohei99的博客
12-03 550
https://blog.youkuaiyun.com/u010180815/article/details/89084998
IDEA 阅读源码技巧
无
01-04 817
IDEA的diagram 1.查看图形形式的继承链 在想查看的类上，点击右键，选择 Diagrams。 如图：我想查看HashMap的源码： 其中show：新建在标签页内 show … Popup：以浮窗的形式展示 然后你就会得到如下图所示的继承关系图形： 2.优化继承链图形 2.1 去掉不关心的类 得到的继承关系图形，有些并不是我们想去了解的 ? 简单，删掉。点击选择你想要删除的类，然后直接使用键盘上的delete键就行了。清理其他类的关系后图形如下： 2.2展示类的详细信息 如何看继承下来的那
Spark源码学习之IDEA源码阅读环境搭建
一入大数据深似海?别怕!“数据极客圈”就是你的救生圈，走对圈子跟对人，趣析数据、畅聊趋势，快进圈子!
10-06 1231
软件准备 （1）Java 1.8 （2）Scala 2.11.12（需要在IDEA中安装） （3）Maven 3.8.2（需要在IDEA中配置） （4）Git 2.33 以上软件需要安装好，并进行环境配置。 （5）spark 2.4.3 源码（官网可下载） 编译源码 （1）修改MAVEN_OPTS，增加Maven编译时内存的大小： 在Maven安装目录下找到bin/mvn.cmd文件，打开在文件中添加 MAVEN_OPTS="-Xmx2g -XX:MetaspaceSize=2G -XX:Reserve
1. Spark源代码阅读与调试环境搭建
cl2010abc的专栏
03-20 350
1.修改maven默认仓库地址，选择阿里云仓库可以加速依赖包的下载速度，阿里云仓库地址为http://maven.aliyun.com/nexus/content/groups/public。注意：intellij idea依赖的scala sdk的版本一定要与spark 源代码包中依赖的scala版本一致，否则后面可能报错。intellj idea具有强大的代码编辑，阅读与调试功能，这里选择它作为代码阅读与调试工具。执行上述命令，会在dist目录中生成发布软件包，与在spark官网下载的软件包是一样的。
IntelliJ IDEA如何把spark源代码打包
最新发布
10-18
参考资料未直接提及使用IntelliJ IDEA将Spark源代码打包的方法。不过结合Spark开发流程，推测大致步骤如下： 首先需要使用IntelliJ IDEA启动并创建spark项目，可通过“启动IntelliJ Idea并创建spark项目”来完成初始...
SparkTest:Intellij Idea中的Spark Scala项目样本
04-30
2. **src/main/scala**：源代码目录，其中包含Spark应用程序的Scala类。开发者通常在这里编写Spark作业，例如定义RDD（弹性分布式数据集）操作，创建DataFrame或DataSet，以及实现Spark Streaming的DStream处理逻辑...
IDEA使用Ctrl点进去没有源码的百分百解决方法
qq_58551342的博客
04-20 1198
在通过IDEA学习代码时，直接Ctrl进入某个模块无法查看源码的万能解决方法
Spark源码阅读的正确打开方式
微信搜：import_bigdata，大数据领域硬核原创作者
02-09 1203
Spark发展至今，应该说已经非常成熟了。是大数据计算领域不得不学习的框架。尤其是Spark在稳定性和社区发展的成熟度方面，吊打其他的大数据处理框架。 Spark至今只经历过1.x、2.x和3.x三个大版本的变化，在核心实现上，我们在Github能看到的最早的实现是0.5版本，这个版本只有1万多行代码，就把Spark的核心功能实现了。 当然我们不可能从这么古老的版本看，假如你接触过Spark，现...
使用 IntelliJ Idea搭建Spark源码阅读环境
编码强迫症患者
06-15 3963
首先，从官网下载spark-1.6.0源码，使用intellij IDEA直接open，选择使用maven构建项目，我选用的开发工具包是jdk1.7.0_03和scala-sdk-2.10.4，然后等待IDEA自动下载并解析相关依赖。然后编译任意Example，我选择的是JavaWordCount文件，此时程序会报如下错误： 进入File->Project Structure->...
Idea引入Spark源码
willyan2007的博客
02-12 2008
1.    下载spark版本对应的源码程序包，官网下载    见下图：下载的是1.6.1版本的，soucecode是源码包类型。下载得到spark-1.6.1.tgz的文件。2.      在idea中开某个spark程序。    见右上角有个“attachsouces”的按钮 3.      将1中下载的包解压，点击2中的“attach souces”，引入下载的源码即可。点击ok 完成。...
IDEA 导入spark源码 及问题解决
strong_yu的博客
07-08 907
软件准备 1.IDEA 2.maven 3.jdk 4.scala 下载源码 https://github.com/apache/spark.git 下载需要的版本，解压jar包 导入saprk源码 编译jar包 maven编译代码,选择根目录 出现的问题 1.scala代码不规范 error file=/iteblog/spark-1.3.1/streaming/src/main/scala/org/apache/spark/streaming/StreamingContext.scala me
IDEA 阅读源码绝技
热门推荐
sinat
04-17 15万+
1、定位到方法实现类 publicstaticObjectgetBean(String name){ 　　returnapplicationContext.getBean(name); } 如以上代码，IDEA如何跳转到getBean方法的实现类？ 在IDEA中，CTRL+鼠标左击默认会跳到方法所在的接口，如getBean就会跳到BeanFactory接口...
Java基础篇：如何在idea中阅读源码
大誌的博客
03-26 5476
万丈高楼平地起，要想阅读源码，首先要学会如何阅读源码，这篇将讲诉如何在idea中畅游源码世界。 1、定位到构造器/方法实现类 public static void main(String[] args) { ArrayList<String> arrayList=new ArrayList<>(); arrayList.a...
scala系列文章 ---函数的反编译源码查看
qq_36579777的博客
01-03 1250
在scala中方法和函数其实可以看成是一个，但是看一些资料或者书籍他们两者也有一些区别。 再此不讨论这些区别，只看干货。 首先写一个简单的函数，两数判断大小。 // 适合代码编写 (x,y)=>if(x>y) x else y // 这种方式只适合交互式 (Int,Int)=>Int=(x,y)=>if(x>y) x else y)) 复杂方式 // 定义一...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值