HaDoop2.6下安装并配置Spark1.6.3

最新推荐文章于 2025-05-22 14:58:50 发布

一叶_障目

最新推荐文章于 2025-05-22 14:58:50 发布

阅读量2.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： Python-Hadoop-ML 文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/Haiyang_Duan/article/details/60972664

Python-Hadoop-ML 专栏收录该内容

72 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文档详细介绍了如何在Hadoop2.6环境下安装并配置Spark1.6.3。首先，下载并安装Scala作为基础，接着安装Spark。启动Spark的Master、Worker和HistoryServer进程，并通过jps命令检查进程状态。最后，通过Web界面验证Spark的正确运行，分别提供Master、Worker和HistoryServer的Web界面地址供用户查看。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark是Hadoop MapReduce的通用并行框架，不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法；

1.下载安装Scala

1.1 到Scala官网下载想要的版本：

这里写图片描述

1.2 下载后上传到安装目录下
使用：tar -zxvf scala-2.12.0.tgz
解压后的文件为：scala-2.12.0

1.3 添加环境变量
vi /etc/profile
export SCALA_HOME=/opt/scala-2.12.0
exp

了解本专栏

超级会员免费看