spark安装

weixin_43203897

于 2019-02-20 22:20:09 发布

阅读量386

点赞数

分类专栏：安装

本文链接：https://blog.youkuaiyun.com/weixin_43203897/article/details/87827869

版权

安装专栏收录该内容

17 篇文章

订阅专栏

本教程详细介绍了如何安装Spark。首先从官方网站下载spark-2.0.2-bin-hadoop2.7版本，然后在/usr/local下新建安装目录并解压。接着，修改配置文件spark-env.sh设置JAVA_HOME和SPARK_MASTER_HOST等参数，并重命名模板文件。在slaves文件中添加worker节点。使用scp命令将Spark拷贝到其他节点，并配置环境变量。最后，在主节点上启动Spark服务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

下载spark安装包
下载地址spark官网：http://spark.apache.org/downloads.html
这里我们使用 spark-2.0.2-bin-hadoop2.7版本.
新建安装目录
/usr/local
解压
tar -zxvf spark-2.0.2-bin-hadoop2.7.tgz
重命名
mv spark-2.0.2-bin-hadoop2.7 spark
修改配置文件
vi spark-env.sh 修改文件(先把spark-env.sh.template重命名为spark-env.sh)
#配置java环境变量
export JAVA_HOME= /usr/local/jdk
#指定spark老大Master的IP
export SPARK_MASTER_HOST=Hadoop01
#指定spark老大Master的端口
export SPARK_MASTER_PORT=7077
#woker 使用1g和1个核心进行任务处理
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1g

vi slaves 修改文件(先把slaves.template重命名为slaves)
hadoop02
hadoop03
7.拷贝到其他节点
通过scp 命令将spark的安装目录拷贝到其他机器上
scp -r /opt/bigdata/spark slave1:/usr/local
scp -r /opt/bigdata/spark slave2:/usr/local

8 配置spark环境变量
将spark添加到环境变量,添加以下内容到 /etc/profile
export SPARK_HOME=/usr/local/spark
export PATH= $P A T H :$ SPARK_HOME/bin
注意最后 source /etc/profile 刷新配置
9. 启动spark
#在主节点上启动spark
/opt/bigdata/spark/sbin/start-all.sh