编写Spark程序并提交到集群上运行

最新推荐文章于 2025-05-13 08:10:23 发布

原创

最新推荐文章于 2025-05-13 08:10:23 发布 · 5k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#spark #scala #hadoop #cluster

本文档介绍了如何使用Scala IDE创建Spark应用程序，包括新建项目、导入Spark库、导出JAR文件，以及将JAR上传到HDFS、提交作业到Spark集群和查看执行结果的步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

編写Spark应用程序

使用SCALA IDE，新建一个SCALA PROJECT，在项目下新建一个lib的文件夹，把spark的JAR包放进去，并且build path里添加一下JAR包引用，然后添加一个SCALA类SparkRowCount，这个Spark应用程序的功能是计算数据的总行数，代码如下

import org.apache.spark.SparkConf;
import org.apache.spark.SparkContext;

object SparkRowCount {
   
   

  def main(args: Array[String]) {

    if (args.length < 1) {
      println("Usage: please specify the file path");
      System.exit(1);
    }

    val conf = new SparkConf().setAppName("row count");