【Ubuntu】spark2.4.5安装教程

最新推荐文章于 2024-07-21 16:39:00 发布

原创最新推荐文章于 2024-07-21 16:39:00 发布 · 670 阅读

CC 4.0 BY-SA版权

11 篇文章

订阅专栏

本文详细介绍了如何在指定目录下安装Spark2.4.5，包括解压、改名、设置权限、配置环境变量及验证安装过程。通过遵循这些步骤，用户可以确保Spark的正确安装和运行。

将spark2.4.5的压缩包解压到指定目录，并改名为spark：

sudo tar -zxvf spark-2.4.5-bin-without-hadoop.tgz -C /home/china/data
sudo mv spark-2.4.5-bin-without-hadoop/ spark

添加权限，并查看该目录下有没有spark的安装文件：

sudo chown -R china:china spark
ls | grep spark

在spark 目录下拷贝spark-env.sh.template 文件并去掉.template后缀。同时在此文件第一行添加如下所示 export xxxx 代码。

cd ./spark
cp ./conf/spark-env.sh.template ./conf/spark-env.sh
cd ./conf
vim spark-env.sh

export SPARK_DIST_CLASSPATH=$(装Hadoop的路径/bin/hadoop classpath)

在 spark 目录下运行如下命令,也可使用注释掉的那行命令直接过滤出结果:

cd /home/china/data/spark
bin/run-example SparkPi
# bin/run-example SparkPi 2>&1 | grep "Pi is"

看到有Pi的输出说明安装成功，如图：
在这里插入图片描述