<think>我们正在讨论在CentOS 9上使用
Spark运行
JAR包。根据之前的对话，用户已经成功使用sbt assembly打
包了一个
Spark应用程序（生成了一个
JAR文件），现在需要在
Spark集群（可能是Standalone模式）上运行这个
JAR包。
参考引用内容：
- 引用[2]展示了在
Spark Standalone集群上运行示例程序（如
SparkLR和
SparkKMeans）以及使用
spark-shell进行WordCount的例子，同时也提到了提交应用程序到
Spark集群（通过指定master URL）和停止集群的方法。
- 引用[3]提到了在YARN模式下运行
Spark应用时，为了避免每次上传
依赖，可以将
Spark相关
jar包上传到HDFS并设置属性。但用户当前的问题可能更侧重于Standalone模式，因为用户没有明确提到YARN。
- 引用[5]展示了使用
spark-submit提交应用程序时如何指定额外的
依赖（如MySQL驱动）以及使用
--packages选项来解析
依赖。
根据这些信息，我们可以给出在CentOS 9上使用
Spark（Standalone模式）运行
JAR文件的步骤：
### 步骤1：确保
Spark集群已启动
在Standalone模式下，需要先启动
Spark集群。假设你已经按照引用[2]中的方式安装了
Spark集群，并且master节点的主机名为`master`（或IP地址），端口为`7077`（默认的master端口）。
启动集群（在
Spark安装目录下）：
```bash
# 进入
Spark安装目录
cd /path/to/
spark
# 启动集群
./sbin/start
-all
.sh
```
### 步骤2：提交应用程序
使用`
spark-submit`命令提交应用程序。基本语法如下：
```bash
./bin/
spark-submit \
--class <main
-class> \
--master <master
-url> \
--deploy
-mode <deploy
-mode> \
[其他可选参数] \
<application
-jar> \
[应用程序参数]
```
- `<main
-class>`：应用程序的入口类（即
包含main方法的类），例如`com
.example
.MyApp`。
- `<master
-url>`：
Spark集群的master URL。对于Standalone集群，通常是`
spark://<master
-host>:<port>`，例如`
spark://master:7077`。
- `<deploy
-mode>`：部署模式，可以是`client`（默认）或`cluster`。在client模式下，
driver运行在提交应用的机器上；在cluster模式下，
driver运行在集群中的一个节点上。
- `<application
-jar>`：打
包好的应用程序
JAR文件路径（可以是本地路径，也可以是HDFS等分布式存储的路径）。
- `[应用程序参数]`：传递给应用程序main方法的参数。
例如，假设我们的
JAR文件在本地路径`/path/to/
spark-app
-assembly
-1
.0
.jar`，主类为`com
.example
.MyApp`，则可以这样提交：
```bash
./bin/
spark-submit \
--class com
.example
.MyApp \
--master
spark://master:7077 \
--deploy
-mode client \
/path/to/
spark-app
-assembly
-1
.0
.jar
```
### 步骤3：查看应用程序运行状态
提交后，可以通过
Spark Web UI来监控应用程序的运行状态。默认情况下，
Spark master的Web UI在端口8080，而每个worker在8081。另外，在应用程序运行期间，可以通过
driver的Web UI（默认端口4040）查看详细信息。
### 步骤4：停止集群（可选）
当不需要集群时，可以停止：
```bash
./sbin/stop
-all
.sh
```
### 注意事项
1
. **
依赖问题**：如果应用程序需要额外的
依赖（如MySQL JDBC驱动），可以参考引用[5]中的方法，通过`
--jars`选项指定额外的
JAR包，或者使用`
--packages`从Maven仓库下载
依赖。例如：
```bash
./bin/
spark-submit \
--class com
.example
.MyApp \
--master
spark://master:7077 \
--jars /path/to/mysql
-connector
-java
-8
.0
.26
.jar \
/path/to/
spark-app
-assembly
-1
.0
.jar
```
或者使用`
--packages`：
```bash
./bin/
spark-submit \
--class com
.example
.MyApp \
--master
spark://master:7077 \
--packages mysql:mysql
-connector
-java:8
.0
.26 \
/path/to/
spark-app
-assembly
-1
.0
.jar
```
2
. **资源分配**：可以通过`
--executor
-memory`、`
--total
-executor
-cores`等参数调整资源分配。例如：
```bash
./bin/
spark-submit \
--class com
.example
.MyApp \
--master
spark://master:7077 \
--executor
-memory 2G \
--total
-executor
-cores 4 \
/path/to/
spark-app
-assembly
-1
.0
.jar
```
3
. **运行模式**：如果是在YARN模式下运行，需要将`
--master`设置为`yarn`，并配置好Hadoop环境。同时，可能需要设置`HADOOP_CONF_DIR`环境变量指向Hadoop配置文件目录。
### 相关问题
1
. 如何在
Spark Standalone集群上配置worker的资源（如内存和CPU核心数）？[^2]
2
. 如何查看
Spark应用程序的日志？[^2]
3
. 如何在YARN模式下运行
Spark应用程序？[^3]
4
. 如何解决
Spark应用程序运行时的
依赖冲突问题？[^5]
请根据实际环境调整命令中的路径、主机名和端口等信息。</think>### 在 CentOS 9 上运行
Spark JAR 文件的完整指南
#### 1️⃣ 准备工作
1
. **确认
Spark 安装**
确保
Spark 已正确安装（参考引用[2][4]）：
```bash
# 检查
Spark 版本
$
SPARK_HOME/bin/
spark-submit --version
```
 [^4]
2
. **启动
Spark 集群**（Standalone 模式）：
```bash
# 启动 master 和 workers
$
SPARK_HOME/sbin/start
-all
.sh
# 检查集群状态
$
SPARK_HOME/bin/
spark-shell
--master
spark://your
-master:7077
```
#### 2️⃣ 提交
JAR 文件的核心命令
```bash
$
SPARK_HOME/bin/
spark-submit \
--class <主类全限定名> \
--master
spark://<master
-host>:7077 \
--deploy
-mode client \
--executor
-memory 2G \
--total
-executor
-cores 4 \
/path/to/your
-app
.jar \
[应用参数]
```
**参数说明**：
- `
--class`：
JAR 中的主类（如 `com
.example
.MainApp`）
- `
--master`：集群 master 地址（Standalone 模式）
- `
--deploy
-mode`：`client`（日志在终端显示）或 `cluster`（日志在集群）
- 资源参数根据集群配置调整
#### 3️⃣ 不同运行模式示例
**▶ 本地模式测试**（无需集群）：
```bash
$
SPARK_HOME/bin/
spark-submit \
--class com
.example
.WordCount \
--master local[4] \
/home/user/
spark-app
.jar \
/input
.txt
```
**▶ Standalone 集群模式**：
```bash
$
SPARK_HOME/bin/
spark-submit \
--class com
.example
.DataProcessor \
--master
spark://centos9
-master:7077 \
--deploy
-mode cluster \
--supervise \
/shared/apps/
spark-process
.jar
```
**▶ 带
外部依赖的提交**（如 MySQL JDBC）：
```bash
$
SPARK_HOME/bin/
spark-submit \
--class com
.example
.DBWriter \
--master yarn \
--jars /path/to/mysql
-connector
-java
-8
.0
.26
.jar \
--conf
spark.executor
.extraClassPath=/path/to/mysql
-connector
.jar \
/home/user/db
-writer
.jar
```
> 注意：MySQL
依赖需显式声明（引用[5]）[^5]
#### 4️⃣ 常见问题解决
1
. **类路径问题**：
```bash
# 添加额外
依赖
--conf
spark.driver.extraClassPath=/path/to/libs/* \
--conf
spark.executor
.extraClassPath=/path/to/libs/*
```
2
. **HDFS 文件读取**：
```scala
// 在代码中使用
val data = sc
.textFile("hdfs://namenode:9000/path/to/file
.txt")
```
（参考引用[2]的 HDFS 配置）[^2]
3
. **查看运行状态**：
- Master Web UI：`http://<master
-host>:8080`
- 应用日志：`$
SPARK_HOME/logs/` 目录
#### 5️⃣ 关键注意事项
1
. **
JAR 打
包要求**：
- 包含所有非
Spark 核心
依赖
- 使用 `sbt
-assembly` 创建 fat
JAR（参考您之前的打
包结果）
2
. **环境一致性**：
- 确保所有节点使用相同 Java 版本
- CentOS 9 需确认 Glibc 兼容性
3
. **资源优化**：
```bash
# 根据集群规模调整
--executor
-cores 2 \
--executor
-memory 4G \
--num
-executors 8
```
#### 6️⃣ 完整执行示例
```bash
# 提交 WordCount 应用到集群
$
SPARK_HOME/bin/
spark-submit \
--class com
.example
.WordCount \
--master
spark://centos9
-master:7077 \
--deploy
-mode client \
--executor
-memory 2G \
--total
-executor
-cores 8 \
/opt/
spark-apps/wordcount
.jar \
hdfs:///data/input
.txt \
hdfs:///data/output
```
### 相关问题
1
. 如何配置
Spark 集群的资源分配策略？[^2]
2
. 从 HDFS 读取数据时出现权限错误如何解决？[^3]
3
. 如何优化
Spark 应用的 Shuffle 操作性能？[^5]
4
. 在 YARN 模式下运行
Spark 应用有哪些额外配置？[^3]
5
. 如何处理
Spark 应用中的
第三方库冲突？[^5]
本文介绍了一种在Spark环境下提交独立Jar包时如何有效处理大量外部依赖Jar的方法。通过配置spark-defaults.conf文件并指定外部Jar包路径，避免了使用繁琐的--jars参数。适用于Spark 2.4.3、JDK 1.8和Scala 2.12.2环境。
扫一扫
680
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
