IDEA本地启动Spark的Master和Worker

在Windows环境IDEA上解读Spark源码的时候，为了查看参数传递，总是连接服务器很麻烦。简单实现从本地启动Spark的Master和Worker，方便源码解读。

1. 添加Maven依赖

在spark-parent的pom.xml中添加guava依赖

<!-- https://mvnrepository.com/artifact/com.google.guava/guava -->
<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>27.0.1-jre</version>
</dependency>

 

2. 启动Master

 

3. 设置Application

新建一个Application，Main class搜索Worker，参数填入上面获取的spark://host:port