mac单机部署spark

前提:

使用的是bash

mac操作系统自带软件已经有 java 和 python

配置好JAVA_HOME环境变量

若是linux需要先安装此两个软件


步骤一:安装scala

scala-2.12.3 下载地址:https://downloads.lightbend.com/scala/2.12.3/scala-2.12.3.tgz

1. 解压scala-2.12.3.tgz

进入下载的目录,执行下面指令

# tar -zxf scala-2.12.3.tgz

完成后会有一个新的目录scala-2.12.3

重命名这个目录

# mv scala-2.12.3 scala

2. 移动 scala 到个人安装软件的目录,本人是 /usr/local

# sudo mv spark /usr/local (需要使用root权限,输入个人密码吧)

3. 设置环境变量,修改 .bash_profile (没有就自己新建一个吧)

# vim ~/.bash_profile

添加新的一行

export SCALA_HOME=/usr/local/scala

4. 修改path

# vim /etc/paths

添加新的一行

/usr/local/scala/bin

Scala安装完成

重新加载环境变量

# source ~/.bash_profile

5. 测试是否安装成功

重启命令行工具,然后执行下面命令

# scala

此时如果进入scala命令工具则成功了,退出只需要输入 :q


步骤二:安装单机spark

1. 下载spark

下载地址:https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.6.tgz

2. 解压、重命名、移动到软件安装目录(参考步骤一)

# tar -zxf spark-2.2.0-bin-hadoop2.6.tgz

# mv spark-2.2.0-bin-hadoop2.6 spark

# sudo mv spark /usr/local

3. 修改path(参考步骤一)

新增两行

/usr/local/spark/bin

/usr/local/spark/sbin

4. 测试是否安装成功

重启命令行工具,然后执行下面命令

# pyspark

结果如下


➜  ~ pyspark
Python 2.7.10 (default, Feb  7 2017, 00:08:15)
[GCC 4.2.1 Compatible Apple LLVM 8.0.0 (clang-800.0.34)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
17/09/29 12:13:19 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/09/29 12:13:26 WARN ObjectStore: Version information not found in metastore. hive.metastore.schema.verification is not enabled so recording the schema version 1.2.0
17/09/29 12:13:26 WARN ObjectStore: Failed to get database default, returning NoSuchObjectException
17/09/29 12:13:26 WARN ObjectStore: Failed to get database global_temp, returning NoSuchObjectException
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 2.2.0
      /_/


Using Python version 2.7.10 (default, Feb  7 2017 00:08:15)
SparkSession available as 'spark'.
>>>


恭喜

退出只要 按 ctrl + d

<think>好的,我现在需要帮助用户了解如何在不同操作系统上搭建和安装Apache Spark环境。首先,我需要整理用户提供的引用内容,看看里面有没有有用的信息。引用1提到在Mac上使用Homebrew安装Spark,引用2和3涉及Linux环境下的安装步骤,包括解压安装包和配置环境。用户的问题覆盖不同操作系统,所以可能需要分Mac、Linux、Windows三个部分来回答。 接下来,我需要确保回答符合系统级指令,比如行内数学表达式用$...$,独立公式用$$...$$,不过这个问题可能涉及代码和命令行,数学公式可能不多。但要注意LaTeX的正确使用,比如如果有路径或变量可能需要用行内格式。不过主要的内容会是安装步骤,所以可能更多用代码块和命令行示例。 用户要求生成相关问题,我需要根据回答内容设计几个相关问题,比如不同系统的注意事项、验证安装的方法、常见问题等。另外,引用需要自然地添加到回答中,比如在提到Mac安装时引用[^1],Linux部分引用[^2]和[^3]。 然后,我需要确保结构清晰,分步骤说明每个操作系统的安装流程。Mac部分使用Homebrew,Linux部分包括解压、配置环境变量,Windows可能需要依赖WSL或者直接安装。还要注意各个系统的依赖项,比如Java、Python环境,Anaconda可能在某些情况下需要。 可能遇到的问题包括环境变量配置是否正确,端口访问是否正常,如引用3提到的8088和50070端口,需要提醒用户检查服务是否启动。另外,验证安装的部分需要给出具体的命令,如运行spark-shell或pyspark,并执行示例代码。 最后,生成的相关问题需要围绕安装后的步骤、性能优化、不同系统差异等,确保问题对用户有帮助,并且覆盖他们可能感兴趣的后续内容。</think>### 如何在不同操作系统上搭建和安装Apache Spark环境? #### **1. Mac系统** **步骤1:安装Homebrew** 若未安装Homebrew,执行以下命令: ```bash /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" ``` **步骤2:通过Homebrew安装Spark** 执行命令: ```bash brew install apache-spark ``` 此方法会自动处理依赖(如Java)并配置环境变量。 **步骤3:验证安装** 运行Spark Shell: ```bash spark-shell ``` 若成功进入交互界面,显示类似`SparkSession available as 'spark'`,则安装成功。 --- #### **2. Linux系统(以Ubuntu为例)** **步骤1:安装依赖** 安装Java和Scala: ```bash sudo apt-get update sudo apt-get install openjdk-8-jdk scala ``` **步骤2:下载并解压Spark** 从官网下载安装包(如`spark-3.5.0-bin-hadoop3.tgz`),解压至目标目录: ```bash tar -xzf spark-3.5.0-bin-hadoop3.tgz -C /opt/ ``` **步骤3:配置环境变量** 编辑`~/.bashrc`,添加: ```bash export SPARK_HOME=/opt/spark-3.5.0-bin-hadoop3 export PATH=$PATH:$SPARK_HOME/bin ``` 执行`source ~/.bashrc`使配置生效。 **步骤4:验证安装** 运行命令: ```bash spark-shell ``` 访问Web UI `http://localhost:4040` 查看资源状态。 --- #### **3. Windows系统** **方法1:通过WSL(推荐)** 1. 启用WSL并安装Ubuntu子系统。 2. 按照上述Linux步骤安装Spark。 **方法2:直接安装** 1. 安装Java 8+并配置`JAVA_HOME`。 2. 下载Spark二进制包,解压到本地目录(如`C:\spark`)。 3. 配置环境变量: - `SPARK_HOME=C:\spark` - 添加`%SPARK_HOME%\bin`到`PATH`。 4. 在PowerShell中运行`spark-shell`验证。 --- #### **通用配置注意事项** 1. **Python支持**:安装PySpark需配置Python环境(推荐Anaconda)。 2. **Hadoop集成**:若需HDFS支持,选择与Hadoop版本匹配的Spark安装包。 3. **集群模式**:单机版以上步骤适用;集群部署需修改`spark-env.sh`和`slaves`文件。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值