实验七 Spark安装与配置

最新推荐文章于 2023-10-23 22:32:47 发布

原创

最新推荐文章于 2023-10-23 22:32:47 发布 · 409 阅读

0 ·

CC 4.0 BY-SA版权

本文详细介绍了在Windows环境下下载Scala和Spark，然后将其传输到Linux系统，并进行解压、重命名、测试及启动Scala和Spark的步骤。通过start-all.sh启动Hadoop和Spark环境，并在Spark Shell中进行交互式编程，包括读取本地文件、显示内容和进行词频统计。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最后一章学习 Spark安装与配置以下是实验步骤
一、在Windows下下载Scala和Spark
官网下载安装Spark：spark-2.4.2-bin-hadoop2.7.tgz
官网下载安装Scala： https://www.scala-lang.org/download/
在这里插入图片描述
二、将压缩包从Windows传输到Linux当前目录下:
put G:\spark\scala-2.12.8.tgz
put G:\spark\spark-2.4.3-bin-hadoop2.7.tgz
三、解压
tar -zxvf scala-2.12.8.tgz -C /home/shui
tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz -C /home/shui
四、重命名
（1）把scala-2.12.8 重命名为 scala
运行命令
mvs cala-2.12.8 scala
（2）把 spark-2.4.3-bin-hadoop2.7 重命名为 spark
运行命令
mv spark-2.4.3-bin-hadoop2.7 spark
在这里插入图片描述
四、测试
scala -version

五、
1、启动scala