Spark(3) -- Spark local模式下IDEA集成应用开发(scala版)

原创于 2020-10-01 11:50:04 发布 · 849 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark

大数据学习专栏收录该内容

148 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了如何在IDEA中构建Maven项目，开发Spark Scala应用，包括WordCount和TopKey的实现。内容涵盖SparkContext的创建、应用提交参数配置以及在本地模式下的运行和打包过程。通过实验案例展示了Spark应用的提交和执行，包括在本地模式和Standalone集群模式下的运行，并提供了查看执行结果的方法。

1. 构建Maven Project

创建Maven Project工程【bigdata-spark_2.11
创建Maven Module模块【spark-chapter01_2.11
添加依赖至POM文件中，内容如下:

<!-- 指定仓库位置，依次为aliyun、cloudera和jboss仓库 --> <repositories>
<repository>
<id>aliyun

了解本专栏

超级会员免费看