intelliJ IDEA进行spark配置和开发

本文介绍了如何在IntelliJ IDEA中配置和开发Spark项目。首先下载并安装IDE,建议选择Ultimate版,并确保安装Scala插件。然后创建新的Scala项目,配置build.sbt文件引入Spark核心库。接着,编写Spark代码并在指定目录下保存。最后,通过项目结构打包成jar文件,可以直接运行。文章还提到,可以使用sbt管理依赖,并提供了Maven官网链接以查找不清楚的库。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

前言:一直在使用python做数据处理,阅读spark官方文档时到后半部分的MLlib机器学习部分有些机器学习方法竟然没有python,很是遗憾,遂着手准备学学scale,毕竟原生语言,开发起来应该是丝丝入扣,顺滑平坦。
1.下载intelliJ IDEA
下载传送门
建议下载找个注册码安装Ultimate版本。
(在安装时不要一直点,看清楚意思再进行选择,尽量多的把能装上的语言都装上,这样会少不少麻烦。)

如果错过安装时候还是错了安装scale插件,那么按如下步奏走:
进入idea主界面

在线安装:
选择Plugins :
这里写图片描述
输入scala:
这里写图片描述
选择右侧的安装即可

2.安装好之后
file->new->project->选择scale
这里写图片描述

这里写图片描述

3.新建scale项目完成后,按如下目录进行配置
打开项目,目录如下:
这里写图片描述
找到build.sbt添加如下配置:
libraryDependencie

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值