配置spark,并在idea中搭建项目

网上的普遍太久远,不太适配,记录自己的完美搭建

一、配置spark

1.配置maven(注意选择版本为3.6.3)

参考:https://blog.youkuaiyun.com/huo920/article/details/82082403
但这一步是多余的

2.下载scala(注意版本对应为2.12)

查看scala版本:scala -version
查看对应关系:https://mvnrepository.com/artifact/org.apache.spark/spark-core
在这里插入图片描述
安装scala参考:https://cloud.tencent.com/developer/article/1733776
官网:https://www.scala-lang.org/download/
然后选择特定的版本
在这里插入图片描述

3.下载spark(注意版本选择3.1.3)
不要太新了,否则spark-shell会报错,需要降低版本
https://zhuanlan.zhihu.com/p/149469688
检验:cmd中spark-shell
在这里插入图片描述

二、搭建idea项目

1.创建项目

由于版本较新,maven版本配置全靠自己琢磨,可惜自己没琢磨透
感谢好友@玥的热心帮助,通过直接创建项目解决问题
参考:https://blog.youkuaiyun.com/github_38924695/article/details/118510289?utm_source=app&app_version=5.3.1&code=app_1562916241&uLinkId=usr1mkqgl919blen
注意:点击IDEA右上角放大镜左边的按钮(Project Structure),或者快捷键ctrl + shift + alt + S,点击Modules:
(要包括scala-sdk和spark的jars包:D:\Programs\pyspark\spark-3.1.3-bin-hadoop3.2\jars)
在这里插入图片描述

2.导包解决爆红

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.{Dataset, SparkSession}

在这里插入图片描述
在这里插入图片描述

3.成果展示
在这里插入图片描述
4.附上测试代码
注意!!package和object test1 为自己的哈

package main.scala

object test1 {
  def main(args: Array[String]): Unit = {
    println("Hello Scala")
  }
}

在这里插入图片描述

三、心得
完结撒花,仙女落泪QAQ

有问题可以发评论区,我看到会回复
折腾三天,理论把坑踩遍了hhh

评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

是Yu欸

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值