搭建Spark的Local运行环境

最新推荐文章于 2025-03-14 13:20:17 发布

aicloudgo

最新推荐文章于 2025-03-14 13:20:17 发布

阅读量327

点赞数

分类专栏：大数据

本文链接：https://blog.youkuaiyun.com/evelen/article/details/107418194

版权

本文详细介绍了如何在本地计算机上安装并配置Spark运行环境，包括必要的步骤和注意事项，帮助读者快速启动Spark开发工作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

安装步骤

# 安装JDK1.8，配置环境变量
export JAVA_HOME=/opt/jdk1.8.0_221
export PATH=$PATH:$JAVA_HOME/bin


# 安装scala-2.11.8
解压
tar -zxf scala-2.11.8.tgz
# 环境变量
export SCALA_HOME=/opt/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin

# 生效profile配置
source /ect/profile


# 搭建hadoop
hadoop-2.7.3

# 搭建spark
spark-2.2.1
解压
tar -zxf spark-2.2.1-bin-hadoop2.7.tgz
重名命
mv spark-2.2.1-bin-hadoop2.7 spark-2.2.1


# 配置环境
重命名 conf/spark-env.sh-template 为spark-env.sh

# Options read when launching programs locally with
新增如下
JAVA_HOME=/opt/jdk1.8.0_221
SCALA_HOME=/opt/scala-2.11.8
// spark文件存储位置为HDFS，不配置则默认存本地磁盘
HADOOP_CONF_DIR=/opt/apache_hadoop/hadoop-2.7.3/etc/hadoop
// 主机名
SPARK_LOCAL_IP=hostname


# 启动spark

先启动HDFS
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode

启动saprk的shell命令行
cd /opt/apache_hadoop/spark-2.2.1
bin/spark-shell

启动成功日志输出
Spark context Web UI available at http://127.0.0.1:4040
Spark context available as &