spark第4天

最新推荐文章于 2024-07-01 07:15:00 发布

原创最新推荐文章于 2024-07-01 07:15:00 发布 · 164 阅读

CC 4.0 BY-SA版权

文章标签：

13 篇文章

订阅专栏

本文介绍了配置Spark开发环境的过程，包括下载和安装Java、Scala，以及解决Scala版本与JDK版本不匹配的问题。在安装IntelliJ IDEA时，讨论了不建议让IDEA关联特定文件类型的理由，并提到了搭建Spark项目时可能需要的sbt工具及其配置优化。

这里写图片描述

scala-2.12.2安装后在cmd中运行scala，报错 Exception in thread “main” java.lang.UnsupportedClassVersionError: scala/tools/nsc/ …

搜索时看到说可能scala版本较高，jdk不支持，所以尝试低版本scala 2.10.6
解压之后双击scala.bat跳出cmd框直接输出了scala：
这里写图片描述

明白需要直接把解压过后的文件放到路径当中：C:\Program Files (x86)\scala
（把原文件名scala-2.10.6改为了scala放到C:\Program Files (x86)目录下）

因为2.12.2版本就设置了SCALA_HOME的系统变量：
这里写图片描述

所以不用再重新设置

cmd中运行scala，成功：
这里写图片描述
scala2.12.2需要java 1.8.0_25；而我电脑中的java是1.8.0_131scala.
scala2.10.6只需要1.7.0_79；所以成功。

这里安装之后我才看到告诫：是否让IDEA关联 .java 和 .groovy 等文件时，不建议勾选。应该让它们关联更加轻量的查看工具，比如 Notepad++ 等。我三个全部勾选了。记录一下安装路径：
这里写图片描述

在首次运行 IntelliJ IDEA 时，会有一个关于配置 IDEA 的向导。向导过程中就可以完成一些需要的插件的安装。参照的博文是这个，比较详细。（这部分在最后参照的论坛上没有体现）

1. 选择没有旧的配置文件
2. 接受隐私政策
3. 选择UI主题（默认intellij）
4. 选择扩展插件与工具
  （点进customize可以自我定制功能，选择的默认）
5. 安装热门插件和工具（install scala）

start intellij idea —> create a new project —> scala：就可以找到scala

为了搭建Spark，需要使用sbt，sbt使用Ivy作为库管理工具。
sbt在IntelliJ IDEA里面大多情况下还是比较慢的，有两种解决办法：
1.提前下载放到缓存库里
2.更改库为阿里源 window下C:\Users\aboutyun.sbt修改repositories

大概没有下载sbt所以没有缓存库或者路径

但是后面新建scala项目又觉得已经有sbt，不需要额外下载。那就先暂时这样，以后觉得缺少的话再说。

跟着这篇文章走到刷新项目这一步，原来上一步就是可以在这里加快速度。每次写程序都需要来这么一下，必需补上加快速度这一步骤。