Spark环境搭建

最新推荐文章于 2025-05-18 12:02:38 发布
原创 最新推荐文章于 2025-05-18 12:02:38 发布 · 448 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文档详细介绍了Spark、Hadoop和Scala的基础知识，并提供了Windows和Linux环境下Scala、Spark及Hadoop的安装步骤。强调Spark并不强制依赖Hadoop和Scala，支持多种编程语言接口，同时提供了在Windows上配置Hadoop的注意事项，包括配置环境变量、解决winutils问题等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言

因为公司项目有用到,整理了一下,特此记录 .网上教程几乎都是全家桶,上来就是安装Scala,Spark,Hadoop.不清楚为什么要安装,自己是否需要安装.又因为安装环境是学习的第一步,所以基本处于懵逼状态!

Scala,Spark,Hadoop介绍

什么是spark?

  Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

下面是官网上的一段话:

Get Spark from the downloads page of the project website. This documentation is for Spark version 2.4.0. Spark uses Hadoop’s client libraries for HDFS and YARN. Downloads are pre-packaged for a handful of popular Hadoop versions. Users can also download a “Hadoop free” binary and run Spark with any Hadoop version by augmenting Spark’s classpath. Scala and Java users can include Spark in their projects using its Maven coordinates and in the future Python users can also install Spark from PyPI.
If you’d like to build Spark from source, visit Building Spark.
Spark runs on both Windows and UNIX-like systems (e.g. Linux, Mac OS). It’s easy to run locally on one machine — all you need is to have javainstalled on your system PATH, or the JAVA_HOME environment variable pointing to a Java installation.
Spark runs on Java 8+, Python 2.7+/3.4+ and R 3.1+. For the Scala API, Spark 2.4.0 uses Scala 2.11. You will need to use a compatible Scala version (2.11.x).
Note that support for Java 7, Python 2.6 and old Hadoop versions before 2.6.5 were removed as of Spark 2.2.0. Support for Scala 2.10 was removed as of 2.3.0.

从上面可以看出:

  1. Spark 需要借助Hadoop客户端的库去使用 HDFS and YARN
    (yarn是作业调度和集群资源管理的一个框架。Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。)
  2. 你可以选择官方提前打包好的继承了某些稳定Hadoop版本的Spark，也可以随意搭配任意版本的Hadoop版本编译使用
  3. Scala 和Java使用者通过maven坐标将Spark引入项目
  4. Spark 支持Windows 和 类UNIX操作系统
  5. 配置好java环境Spark 就可以轻松的运行在一台机器上
  6. Spark 运行需要 Java 8+, Python 2.7+/3.4+ and R 3.1+.

什么是Hadoop？

  Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
  用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

什么是Scala?

  Scala是一门多范式的编程语言，一种类似java的编程语言 ，设计初衷是实现可伸缩的语言 、并集成面向对象编程和函数式编程的各种特性。

  所以使用Spark不一定需要安装Hadoop，也不一定需要安装Scala。Spark提供Java，Scala，Python和R中的高级API，以及支持通用执行图的优化引擎。如果不依赖Hadoop的hdfs进行持久化,则不需要Hadoop。如果不使用yarn模式启动集群，也不需要Hadoop。

Scala windows下安装

  1. 去官网 https://www.scala-lang.org/
  2. 下载页面 https://www.scala-lang.org/download/
  3. Scala 安装两种方式
    A. 通过ide安装，
    首先确定已经安装好Java8 jdk
    在IDEA的启动界面点击 Configure -> Plugins，然后搜索Scala，点击 Install 即可
    与其他编程语言相比，Scala有点不一样。Scala不是安装在系统范围内，而是为每一个Scala项目安装一个版本，通过ide可以为你创建的每一个项目管理一个定制版的Scala
    B.其他方式安装
    你可以选择它双击安装
    在这里插入图片描述
    你也可以选择它解压缩
    在这里插入图片描述
    在这里插入图片描述
    配置环境变量,添加到path中
    在这里插入图片描述
    执行命令
    scala -version
    在这里插入图片描述
    安装成功.

最低0.47元/天 解锁文章

200万优质内容无限畅学
spark环境搭建
陈十一
12-14 840
一、平台环境 虚拟机：VMware® Workstation 14 Pro 32位 操作系统：CentOS764位 二、 软件包 jdk-8u11-linux-x64.tar.gz hadoop-3.2.1-src.tar.gz https://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1-src.tar.gz apache-hive-3.1.2-src.tar.gz https://mirro...
Spark 运行环境
qq_50231389的博客
11-20 1960
Spark 运行环境1.Local模式1.1解压缩文件1.2启动Local环境1.3命令行工具1.4退出本地模式1.5提交应用2.Standalone模式2.1修改配置文件2.2启动集群2.3提交应用2.4提交参数说明2.5配置历史服务2.6 K8S & Mesos 模式2.7 Windows 模式2.8 部署模式对比2.9 端口号 Spark 作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为 Yarn，不过逐渐容器式环境也慢慢流行起来。接下来，我们就分
手动修改host文件
最新发布
zhou__wu的博客
05-18 853
【代码】手动修改host文件。
Spark开发环境搭建
weixin_30765577的博客
10-25 132
Spark的一些基本情况如下： Spark：一个java web框架 License：Apache License 服务器：Jettry jre版本：8 github地址：https://github.com/perwendel/spark 官方文档：http://sparkjava.com/documentation 准备工作： 下载并配置eclipse...
spark环境搭建和配置
03-02
Spark环境搭建和配置的具体步骤包括以下知识点： 1. Spark组件下载：可以通过网盘分享链接下载Spark组件压缩包，链接和提取码通常由分享者提供。 2. 虚拟机安装：首先，需要在VMware虚拟机上新建虚拟机，选择典型...
spark环境搭建和配置文案
03-04
Spark环境搭建和配置是一个涉及多个步骤的过程，主要面向希望在Ubuntu虚拟机上配置Apache Spark的用户。这个过程从虚拟机的安装开始，涵盖了操作系统配置、软件安装、安全设置及远程连接工具配置等多方面的内容。...
spark环境的搭建
qq_43592674的博客
09-25 237
打开虚拟机 下载安装文件spark软件包 将软件包放置到linux系统中 在指定路径下解压spark安装包 因为是图形化界面，所以好操作很多，像在Windows环境下一样将spark文件移入需要的路径下，并解压，重命名为spark 修改spark-env.sh文件 先复制2文件，再把复制之后的文件重命名为1文件名也就是spark-env.sh，然后直接打开文件，修改完后保存就可以了。添加的内容如图所示： 这个路径要和自己的hadoop安装路径相同（如果不记得自己的hadoop环境变量的话，可...
Spark的运行环境_Local
大数据进阶之路
06-03 463
Spark的运行环境_Local Spark作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行，在国内工作中主流的环境为Yarn。 1. Local模式 所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境，一般用于教学、调试、演示等。 1. 启动Local环境 进入解压缩后的路径，执行如下命令 bin/spark-shell 启动成功后，可以输入网址进行Web UI监控页面访问 http://虚拟机地址:4040 2. 命令行工具 在
Spark入门——Spark运行环境
beilizhang的博客
08-14 1755
参考链接 https://www.bilibili.com/video/BV11A411L7CK?p=11 Spark运行环境 Spark作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行，在国内工作中主流的环境为Yarn，不过逐渐容器式环境也慢慢流行起来 Local模式 所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境，一般用于教学，调试，演示等。在IDEA中运行代码的环境称为开发环境，不一样 可以在命令行中输入spark-shell启动 启
spark环境创建
qq_34772375的博客
07-13 211
spark版本2.3.0 创建获取session环境 要想操作spark集群，必须获取相应的session环境，具体的spark基本概念见spark技术原理透视 在spark中获取 session环境的方法比较简单，代码相对固定 private val conf = new SparkConf().setMaster("local")//.set("spark.num.executors","3").set("spark.executor.cores","1") private val sessi
Spark的运行环境_Yarn
大数据进阶之路
06-03 209
Spark的运行环境_Yarn 独立部署（Standalone）模式由Spark自身提供计算资源，无需其它框架提供资源。这种方式降低了和其它第三方资源框架的耦合性，独立性非常强。但是由于Spark本身是计算框架，所以本身提供的资源调度并不是它的强项。 1. 解压缩文件 将spark-2.4.6.tgz文件上传到CentOS并解压缩，放置在指定位置。 2. 修改配置文件 修改hadoop配置文件/opt/app/hadoop-2.7.7/etc/hadoop/yarn-site.xml，并分发 <
Spark环境配置与学习
leiline的博客
02-17 749
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。本文主要介绍spark环境配置以及基础入门学习。
spark环境搭建安装
03-26
<think>好的，我现在需要帮助用户了解如何在不同操作系统上搭建和安装Apache Spark环境。首先，我需要整理用户提供的引用内容，看看里面有没有有用的信息。引用1提到在Mac上使用Homebrew安装Spark，引用2和3涉及Linux环境下的安装步骤，包括解压安装包和配置环境。用户的问题覆盖不同操作系统，所以可能需要分Mac、Linux、Windows三个部分来回答。 接下来，我需要确保回答符合系统级指令，比如行内数学表达式用$...$，独立公式用$$...$$，不过这个问题可能涉及代码和命令行，数学公式可能不多。但要注意LaTeX的正确使用，比如如果有路径或变量可能需要用行内格式。不过主要的内容会是安装步骤，所以可能更多用代码块和命令行示例。 用户要求生成相关问题，我需要根据回答内容设计几个相关问题，比如不同系统的注意事项、验证安装的方法、常见问题等。另外，引用需要自然地添加到回答中，比如在提到Mac安装时引用[^1]，Linux部分引用[^2]和[^3]。 然后，我需要确保结构清晰，分步骤说明每个操作系统的安装流程。Mac部分使用Homebrew，Linux部分包括解压、配置环境变量，Windows可能需要依赖WSL或者直接安装。还要注意各个系统的依赖项，比如Java、Python环境，Anaconda可能在某些情况下需要。 可能遇到的问题包括环境变量配置是否正确，端口访问是否正常，如引用3提到的8088和50070端口，需要提醒用户检查服务是否启动。另外，验证安装的部分需要给出具体的命令，如运行spark-shell或pyspark，并执行示例代码。 最后，生成的相关问题需要围绕安装后的步骤、性能优化、不同系统差异等，确保问题对用户有帮助，并且覆盖他们可能感兴趣的后续内容。</think>### 如何在不同操作系统上搭建和安装Apache Spark环境？ #### **1. Mac系统** **步骤1：安装Homebrew** 若未安装Homebrew，执行以下命令： ```bash /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" ``` **步骤2：通过Homebrew安装Spark** 执行命令： ```bash brew install apache-spark ``` 此方法会自动处理依赖（如Java）并配置环境变量。 **步骤3：验证安装** 运行Spark Shell： ```bash spark-shell ``` 若成功进入交互界面，显示类似`SparkSession available as 'spark'`，则安装成功。 --- #### **2. Linux系统（以Ubuntu为例）** **步骤1：安装依赖** 安装Java和Scala： ```bash sudo apt-get update sudo apt-get install openjdk-8-jdk scala ``` **步骤2：下载并解压Spark** 从官网下载安装包（如`spark-3.5.0-bin-hadoop3.tgz`），解压至目标目录： ```bash tar -xzf spark-3.5.0-bin-hadoop3.tgz -C /opt/ ``` **步骤3：配置环境变量** 编辑`~/.bashrc`，添加： ```bash export SPARK_HOME=/opt/spark-3.5.0-bin-hadoop3 export PATH=$PATH:$SPARK_HOME/bin ``` 执行`source ~/.bashrc`使配置生效。 **步骤4：验证安装** 运行命令： ```bash spark-shell ``` 访问Web UI `http://localhost:4040` 查看资源状态。 --- #### **3. Windows系统** **方法1：通过WSL（推荐）** 1. 启用WSL并安装Ubuntu子系统。 2. 按照上述Linux步骤安装Spark。 **方法2：直接安装** 1. 安装Java 8+并配置`JAVA_HOME`。 2. 下载Spark二进制包，解压到本地目录（如`C:\spark`）。 3. 配置环境变量： - `SPARK_HOME=C:\spark` - 添加`%SPARK_HOME%\bin`到`PATH`。 4. 在PowerShell中运行`spark-shell`验证。 --- #### **通用配置注意事项** 1. **Python支持**：安装PySpark需配置Python环境（推荐Anaconda）。 2. **Hadoop集成**：若需HDFS支持，选择与Hadoop版本匹配的Spark安装包。 3. **集群模式**：单机版以上步骤适用；集群部署需修改`spark-env.sh`和`slaves`文件。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值