编写Spark程序并提交到集群上运行

最新推荐文章于 2025-05-15 23:23:01 发布

strongyoung88

最新推荐文章于 2025-05-15 23:23:01 发布

阅读量5k

点赞数 2

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/strongyoung88/article/details/52014066

本文档介绍了如何使用Scala IDE创建Spark应用程序，包括新建项目、导入Spark库、导出JAR文件，以及将JAR上传到HDFS、提交作业到Spark集群和查看执行结果的步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

編写Spark应用程序

使用SCALA IDE，新建一个SCALA PROJECT，在项目下新建一个lib的文件夹，把spark的JAR包放进去，并且build path里添加一下JAR包引用，然后添加一个SCALA类SparkRowCount，这个Spark应用程序的功能是计算数据的总行数，代码如下

import org.apache.spark.SparkConf;
import org.apache.spark.SparkContext;

object SparkRowCount {
   
   

  def main(args: Array[String]) {

    if (args.length < 1) {
      println("Usage: please specify the file path");
      System.exit(1);
    }

    val conf = new SparkConf().setAppName("row count");