搭建Spark单机版环境

最新推荐文章于 2025-03-19 20:17:54 发布

jzy2024

最新推荐文章于 2025-03-19 20:17:54 发布

阅读量2.5k

点赞数 3

文章标签： spark big data scala

本文链接：https://blog.youkuaiyun.com/m0_59791585/article/details/125310491

版权

本文详细介绍了如何在私有云上搭建Spark单机版环境，包括创建ied实例，连接虚拟机，修改主机名，配置IP与主机名映射，安装JDK和Spark，以及设置相关环境变量。此外，还讲解了使用SparkPi计算Pi值，启动Scala和Python版本的Spark-Shell，以及初步理解RDD的概念和操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录
零、本讲学习目标
一、搭建Spark单机版环境
（一）私有云上创建ied实例
（二）连接ied虚拟机
（三）修改ied实例主机名
（四）设置IP地址与主机名映射
（五）下载、安装和配置JDK
1、下载JDK压缩包
2、上传到ied虚拟机
3、将压缩包解压到指定目录
4、配置Java环境变量
（六）下载、安装与配置Spark
1、下载Spark安装包
2、将Spark安装包上传到ied虚拟机
3、将Spark安装包解压到指定目录
4、配置Spark环境变量
二、使用Spark单机版环境
（一）使用SparkPi来计算Pi的值
（二）使用Scala版本Spark-Shell
（三）使用Python版本Spark-Shell
（四）初步了解RDD
例1、创建一个RDD
例2、调用转化操作filter()
例3、调用行动操作first()
零、本讲学习目标
学会搭建Spark单机版环境
学会Spark应用程序的运行
学会启动Spark Shell
初步了解RDD的概念
一、搭建Spark单机版环境
（一）私有云上创建master实例（之前都创好了）
创建端口 - master_port
在这里插入图片描述

创建实例 - master
在这里插入图片描述

（二）连接master虚拟机
演示win7虚拟机通过FinalShell连接master虚拟机

（三）修改ied实例主机名
执行命令：hostnamectl set-hostname master
[外链图片转存失败,源站可能有防盗在这里插入!链机制,建描述]议将图片上https://传(imblog.csdnimg.cn/d76g41z2e8chT64f0ca408e0ed4b93cfe.png1)https://imgblog.csdnimg.cn/d768a041c2e64f0ca408e0ed4b193cfe.png)]