使用IDEA编写基于Scala的spark程序中的常见问题

最新推荐文章于 2024-09-10 16:15:11 发布

原创最新推荐文章于 2024-09-10 16:15:11 发布 · 666 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark Scala IDEA

大数据专栏收录该内容

10 篇文章

订阅专栏

本文介绍了在IntelliJ IDEA中遇到Scala应用程序部署时出现的常见问题及其解决方案，包括ClassNotFound异常、对象提示问题、NoSourcesFind错误以及main()方法非静态问题等，并提供了具体的配置步骤。

1，ClassNotFound

通过Project Structure 将 main 改为 sources

2，提示已经是一个Object

通过Project Structure 将 src 和 main 改为 sources

3，提示 NoSourcesFind

spark Scala 版本不同步看官网版本依赖

4，IDEA中运行，提示正在运行的应用不能找到ClassNotFoundException ： Scala.App$$anonfun$1 。将jar包提交到集群上提示 main() 不是static

.setJars(List(当前运行的项目的jar包的存放目录))

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ws_developer

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

使用IntelliJ Idea开发Spark应用程序

需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号

07-05

6133

掌握使用IntelliJ Idea开发Spark应用程序的过程。1、使用IntelliJ Idea开发本地Spark应用程序。 2、部署分布式Spark应用程序。首先创建Spark应用程序，在本地运行并测试；然后修改Spark应用程序，访问分布式文件系统HDFS；最后将项目打为jar包，部署到Spark集群上执行。硬件：x86_64 ubuntu 16.04服务器软件：JDK1.8，Spark-2.3.2，Hadoop-2.7.3，IntelliJ Idea1、启动IntelliJ Idea。在终

IDEA 开发环境中调试Spark SQL及遇到问题解决办法

weixin_34144450的博客

04-18

471

1.问题 java.lang.OutOfMemoryError: PermGen space java.lang.OutOfMemoryError: Java heap space 7/04/17 17:00:05 WARN NettyRpcEndpointRef: Error sending message [message = Heartbeat(driver,[Lscala.Tupl...

参与评论您还未登录，请先登录后发表或查看评论

Spark-IDEA环境报错

weixin_39216383的博客

02-25

306

环境背景: IntelliJ IDEA Community Edition 2017.3.2 Scala 2.11.8 Spark 2.2.0 Hadoop 2.6.0-cdh5.7.0 报错一： System memory 259522560 must be at least 471859200. 解决方案：设置Run ->Edit Configurations->Application-

Apache Spark探秘：利用Intellij IDEA构建开发环境

w_j_w2010的博客

11-09

562

经过一段时间的试用，发现Eclipse在Scala支持方面很不完善，体验非常差，因此转而使用Intellij IDEA，本文介绍如何使用Intellij IDEA构建Spark源码阅读和开发环境。（1）准备工作 1）安装JDK 6或者JDK 7 2）安装scala 2.10.x (注意版本) 2）下载Intellij IDEA最新版（本文以IntelliJ IDEA Commun

idea配置spark开发环境时产生的错误总结

jaysonhu的博客

06-28

3180

错误一null>bin>winutils.exe not found这种情况下只是需要winutils.exe文件即可，不需要下载所有hadoop winutils.exe下载链接然后放在hadoop/bin文件夹下，环境变量加上HADOOP_HOME错误二build Artifacts时报错java.lang.outofmemoryerror配置时output，因为运行环境中已经有相关包，所

idea编写spark程序出现的问题

mn_kw的博客

04-26

370

idea中无法找到主类，无法加载主类的解决方式找到模块，然后将你运行的那个主类的包，点击Source，让它作为源文件这样才有运行的资格。。

上手提示：使用新版IDEA+Maven+Scala编写Spark程序

09-24

### 使用新版IDEA+Maven+Scala编写Spark程序的关键步骤 #### 一、理解IDEA在2017版中的变化 2017版的IntelliJ IDEA（简称IDEA）相较于之前版本，在界面设计与操作流程上进行了较大的改进与优化。对于初次接触这个...

IDEA+scala+spark程序开发流程

沈春旭的博客

08-06

4140

1. 新建JAVA工程 2. 设置scala SDK File -> Project Struction -> Libraries -> +; 添加Scala SDK。如果没有配置过系统的scala SDK, 指定系统中安装的scala位置。 3. 导入spark libraries File -> Project Struction -> Librar...

使用IDEA开发Scala程序.docx

06-05

在本实验中，我们将深入学习如何使用IntelliJ IDEA这一强大的集成开发环境(IDE)来开发Scala程序，特别是针对Apache Spark的应用。实验的目标是让学习者掌握如何在IDEA中配置和构建Spark本地应用程序，以及如何部署...

idea 安装scala 出现的问题

meiliang1989的专栏

06-16

1307

1：Unsupported major.minor version 52.02：Error:scalac: Error: org.jetbrains.jps.incremental.scala.remote.ServerException在安装scala的过程中出现了上面两个问题，第一个在排查jdk版本和环境变量之后得以解决第二个是因为idea自动安装的scala插件版本过低，为1.5.4.需要升...

idea中怎样编写Scala代码

我这么骄傲的一个人。

06-07

4037

首先打开idea，点击右上角的,选择然后选择plugs，输入Scala,提示出Scala插件，点击install，安装完成后重启idea，插件安装成功。右击项目名称，点击,勾选Scala,选择对应的配置创建一个maven工程，在main目录下创建新的文件夹，命名为scala右键文件夹，选择创建scala 对象至此，在idea中编写scala代码完整的步骤就结束了，接下来写一个测试代码验证一下！编写scala代码：测试成功：......

IDEA：解决代码没有提示问题

最新发布

2301_81373895的博客

09-10

583

win+r打开控制台输入path找到C:\Program Files (x86)\scala\bin;3、右键src新建scala类选择Object输入一个名称即可。1、在Windows控制台中验证环境变量是否配制成功。进去后选择全局库点击加号选择Scala SDK。2、打开IDEA点击左上角文件选择项目结构。点击后再点三次确定即可。有就说明已经配置好了。

Scala基础随笔

樱吹雪

02-09

1457

用到的基础数据： object Test1 { implicit val v3 = 100 } //普通类 class Person(name:String) { def getInfo():Unit = println(s"${name} can fly") } //案例类 case class Chinese(name:String) //普通类 class Japanese(jName:String) { val name = jName } 一、方法与简单函数： def main

IDEA上使用Scala编程方法

master_hunter的博客

03-06

1万+

一、获取IDEA 很简单直接在官网上下载：https://www.jetbrains.com/idea/，大家可以下载社区版，学生可以认证获取正版，也可自行破解。下载完按照步骤一步一步来就可安装成功。二、获取Scala的JDK 这个也是直接去官网上下载：https://www.scala-lang.org/ 选择第二个msi已经编译好的文件，但是不知道为啥我的电脑只能装2.11版本的，大家可自行选择版本。下载完双击程序一步一步来就可完成JDK的安装。三、配置JDK环...

spark读取不到kafka中的数据，本人踩坑记录

qq_29499107的博客

04-12

4247

首先确定：自己的idea开发环境和spark集群的开发环境一致，jdk, scala 版本都一直，而且在idea中测试可以消费到kafka集群中的数据：集群 spark为1.6.1，本地idea也是spark1.6依赖。并且将sparkstream2kafka程序发布到spark集群也是正常运行，但是获取不到kafka中的数据。后来经过自己大量的测试终于找到了答案（百度了好久没有）：代码：...

首次应用IDEA编写Scala程序并输出hello,scala

m0_58945994的博客

12-28

1137

对于我这种第一次用IDEA编写Scala的新手来说，想着学一点写出来一点，也方便更多新学习的朋友理解。首先，要知道IDEA不能直接进行scala的编写，需要安装scala插件，安装插件的方法如下： 1.在页面file处选择settings设置 2.在设置里面点击plugin（插件）这个选项 3.在搜索框内搜索scala 这里，我已经安装好了，所以搜索的时候找得到，插件没有安装的是搜不到的，搜不到就需要自行导入，点击下面的install plugin ...

如何使用IDEA工具开发Scala程序？

黑马程序员官方博客

02-23

2790

如何使用IDEA工具开发Scala程序，具体步骤如下。（1）创建工程。在 IDEA工具主界面中单击【Create New Project】创建工程，效果如图1所示。图1 创建Scala工程在图1中可以看出，选择“Scala”，然后选中“IDEA”开发工具，再单击【Next】按钮，效果如图2所示。图2 配置Scala工程从图2中看出，已经配置好Scala工程，然后单击【Finish】按钮，则Scala工程已经创建完成，效果如图3所示。图3 Scala工程创建完成在图3中

IDEA中开发Spark Scala程序的配置与教程

"本课程是关于使用IntelliJ IDEA（简称IDEA）开发Apache Spark与Scala程序的教程，由讲师梦琪讲解。课程强调从零基础开始学习Spark1.x的应用开发，涵盖了IDEA的配置、Scala插件的安装以及如何使用Hadoop进行文件搜索...