<think>
嗯，用户想要一个从零
开始的Spark安装与配置
保姆级教程，而且特别强调是"小白友好"的。从引用内容看，用户可能已经看过一些IDEA配置Scala和Spark的片段（引用[1]），以及本地部署FastGPT的
教程（引用[2]），但明确表示这些引用仅供参考，真正需要的是完整的Spark环境搭建流程。
用户提到的"引用[1]"里的Maven依赖配置很有价值，说明用户可能需要开发环境配置；而"引用[2]"的docker-compose示例显示用户对容器化部署有一定认知，但当前需求聚焦在基础安装。考虑到"小白
保姆级"这个关键词，
教程需要满足以下要点：
1. 彻底从零
开始：假设用户没有Java/Scala基础
2. 规避常见坑点：比如环境变量配置、版本冲突
3. 包含验证环节：简单代码测试证明安装成功
4. 提供两种典型场景：本地单机模式（最低门槛）和集群模式（拓展指导）
需要特别注意兼容性问题。当前Apache Spark最新版是3.5.x，但用户引用中出现的spark-core_2.12:3.
0.
0表明可能需要兼顾旧版生态。因此
教程采用稳定组合：Scala 2.12.18 + Spark 3.3.2，同时标注版本替换规则。
对于安装路径选择，推荐Linux系统（Ubuntu示例）因为Spark在生产环境多部署于Linux，但会补充Windows注意事项。环境变量配置要具体到命令行操作，避免
新手找不到配置文件。
考虑到用户可能下一步需要开发，最后补充了IDEA集成Spark的要点（呼应引用[1]），并准备提供进阶问题引导用户后续探索。验证环节特意选择两种方式：Spark-shell交互验证（即时反馈）和独立应用提交（真实开发场景），增强
教程可信度。
</think>
下面是从零
开始的Spark安装与配置
保姆级教程（以Linux/Ubuntu系统为例）：
---
### **1. 前置环境准备**
#### 1.1 安装Java
```bash
sudo apt update
sudo apt install openjdk-11-jdk # Spark 3.x需Java 8/11
java -version # 验证安装
```
> ✅ 输出应显示`openjdk 11.x.x`
> ⚠️ 若使用其他Java版本，需配置`JAVA_HOME`环境变量
#### 1.2 安装Scala（可选但推荐）
```bash
sudo apt install scala
scala -version # 验证安装
```
---
### **2. Spark安装**
#### 2.1 下载Spark
```bash
wget https://dlcdn.apache.org/spark/spark-3.5.
0/spark-3.5.
0-bin-hadoop3.tgz
tar -xzvf spark-3.5.
0-bin-hadoop3.tgz
sudo mv spark-3.5.
0-bin-hadoop3 /opt/spark
```
#### 2.2 配置环境变量
```bash
echo 'export SPARK_HOME=/opt/spark' >> ~/.bashrc
echo 'export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin' >> ~/.bashrc
source ~/.bashrc
```
---
### **3. 配置验证**
#### 3.1 启动Spark本地模式
```bash
spark-shell # 进入Scala交互终端
```
在Spark-shell中输入：
```scala
val data = Array
(1, 2, 3, 4
)
val rdd = sc.parallelize
(data
)
rdd.sum
() // 应输出1
0.
0
exit # 退出
```
#### 3.2 运行示例任务
```bash
$SPARK_HOME/bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
$SPARK_HOME/examples/jars/spark-examples_*.jar 1
0
```
> ✅ 输出应包含`Pi is roughly 3.14xxx`
---
### **4. IDE集成（可选）**
#### 4.1 IDEA配置Scala插件
1. **File > Settings > Plugins** 搜索安装`Scala`插件
2. 新建Maven项目，添加依赖（参考引用[1]）：
```xml
<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.12</artifactId>
<version>3.5.
0</version> <!-- 与安装版本一致 -->
</dependency>
</dependencies>
```
3. 编写测试代码：
```scala
import org.apache.spark.sql.SparkSession
object SparkTest {
def main
(args: Array[String]
): Unit = {
val spark = SparkSession.builder.appName
("SimpleApp"
).getOrCreate
()
val data = spark.sparkContext.parallelize
(Seq
(1,2,3
))
println
(s"Sum: ${data.sum
()}"
)
spark.stop
()
}
}
```
---
### **5. 集群模式扩展（进阶）**
1. **配置SSH免密登录**
```bash
ssh-keygen -t rsa
ssh-copy-id user@worker1 # 所有节点互信
```
2. **修改集群配置**
编辑`$SPARK_HOME/conf/spark-env.sh`：
```bash
export SPARK_MASTER_HOST=master-ip
export SPARK_WORKER_MEMORY=4g
```
3. **启动集群**
```bash
$SPARK_HOME/sbin/start-master.sh # Master节点
$SPARK_HOME/sbin/start-worker.sh spark://master-ip:7
077 # Worker节点
```
> 💡 访问 `http://<master-ip>:8
08
0` 查看集群状态
---
### **常见问题解决**
1. **Java版本不匹配**
```bash
sudo update-alternatives --config java # 切换版本
```
2. **端口冲突**
修改`$SPARK_HOME/conf/spark-defaults.conf`中的`spark.port`配置
3. **权限问题**
```bash
sudo chown -R $USER:$USER /opt/spark # 授权当前用户
```
---
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
