### 配置
IntelliJ IDEA 连接
Spark on YARN
要在
IntelliJ IDEA 中配置并连接到
Spark on YARN 集群，可以按照以下方式操作：
#### 1
. 创建 Maven
或 SBT 项目
在
IntelliJ IDEA 中创建一个新的 Maven
或 SBT 项目，并确保引入必要的依赖项。以下是 Maven `pom
.xml` 文件的一个示例配置[^1]：
```xml
<dependencies>
<!
-- Spark Core
-->
<dependency>
<groupId>
org.apache.spark</groupId>
<artifactId>
spark-core_2
.12</artifactId>
<versi
on>3
.3
.0</versi
on>
</dependency>
<!
-- Spark SQL
-->
<dependency>
<groupId>
org.apache.spark</groupId>
<artifactId>
spark-sql_2
.12</artifactId>
<versi
on>3
.3
.0</versi
on>
</dependency>
<!
-- Hadoop Client (如果需要)
-->
<dependency>
<groupId>
org.apache.hadoop</groupId>
<artifactId>hadoop
-client</artifactId>
<versi
on>3
.3
.1</versi
on>
</dependency>
</dependencies>
```
#### 2
. 设置
SparkSessi
on 和 Master URL
当编写
Spark 应用程序时，在初始化 `
SparkSessi
on`
或 `
SparkC
ontext` 时需指定 `
--master
yarn` 参数来表明应用程序将在
YARN 上运行。
下面是一个简单的 Java 示例代码用于设置
SparkSessi
on 并提交至
YARN[^5]
:
```java
import
org.apache.spark.sql
.SparkSessi
on;
public class WordCount {
public static void main(String[] args) {
String appName = "Word Count";
String masterUrl = "
yarn"; // 使用
YARN 作为资源管理器
// 初始化
SparkSessi
on
SparkSessi
on spark =
SparkSessi
on.builder()
.appName(appName)
.master(masterUrl)
.c
onfig("
spark.submit
.deployMode", "client") // 客户端模式
.getOrCreate();
try {
System
.out
.println("Applicati
on started
...");
// 执行一些逻辑
...
spark.read()
.textFile(args[0])
.show(); // 假设输入文件路径通过命令行参数传递
} finally {
spark.stop();
}
}
}
```
注意：为了防止 DNS 解析问题，建议显式地将本地 IP 地址绑定给
Spark Driver 节点。可以通过如下方式进行配置
:
```java
.c
onfig("
spark.driver
.host", "<your
-local
-ip>")
.c
onfig("
spark.driver
.bindAddress", "<your
-local
-ip>")
```
#### 3
. 构建可执行 JAR 文件
构建包含所有依赖关系的 fat jar（uber
-jar）。这通常通过 Maven 的 Shade 插件完成。编辑 `pom
.xml` 添加插件定义[^2]
:
```xml
<build>
<plugins>
<plugin>
<groupId>
org.apache.maven
.plugins</groupId>
<artifactId>maven
-shade
-plugin</artifactId>
<versi
on>3
.2
.4</versi
on>
<executi
ons>
<executi
on>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
</executi
on>
</executi
ons>
</plugin>
</plugins>
</build>
```
完成后运行以下命令生成 jar 文件
:
```bash
mvn clean package
```
#### 4
. 提交作业到
YARN
使用 `
spark-submit` 工具向
YARN 提交任务。假设已经生成了一个名为 `my
-spark-app
.jar` 的 jar 文件，则可以按以下格式调用[^4]
:
```bash
bin/
spark-submit \
--class com
.example
.MainClass \
--master
yarn \
--deploy-mode cluster/client \
/path/to/my
-spark-app
.jar input_path output_path
```
其中：
- `com
.example
.MainClass`
: 主类名；
- `/path/to/my
-spark-app
.jar`
: 刚才打包好的 jar 文件位置；
- `input_path`, `output_path`
: 输入输出数据所在的 HDFS 路径；
#### 5
. 测试和调试
测试过程中可能会遇到权限不足
或其他
错误情况，请确认集群上的环境变量以及安全策略是否允许外部访问[^3]。
---
当使用IntelliJ IDEA尝试远程提交Spark应用到YARN时，遇到找不到或无法加载主类org.apache.spark.deploy.yarn.ExecutorLauncher的错误。通过在SparkConf中设置'spark.yarn.jars'属性，指定jar包名称和依赖路径，成功解决了这个问题。尽管后续仍有其他错误，但主要的类加载问题已得到解决。
扫一扫
360
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
