Spark的Debug调试

最新推荐文章于 2025-06-26 09:01:38 发布

原创最新推荐文章于 2025-06-26 09:01:38 发布 · 3.7k 阅读

1 ·

CC 4.0 BY-SA版权

spark 专栏收录该内容

34 篇文章

订阅专栏

这篇博客主要介绍了如何进行Spark应用的调试，包括在本地模式和集群模式下设置及调试的方法，提供了两种不同的配置示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark调试：

本地模式调试

集群模式调试

第一种：

val conf = new SparkConf().setAppName("WC").setMaster("local[2]")

第二种

import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by root on 2016/5/14.
  */
object WordCount {
  def main(args: Array[String]) {
    //非常重要，是通向Spark集群的入口
    val conf = new SparkConf().setAppName("WC")
      .setJars(Array("C:\\HelloSpark\\target\\hello-spark-1.0.jar"))
      .setMaster("spark://node-1.itcast.cn:7077")
    val sc = new SparkContext(conf)

    //textFile会产生两个RDD：HadoopRDD  -> MapPartitinsRDD
    sc.textFile(args(0)).cache()
      // 产生一个RDD ：MapPartitinsRDD
      .flatMap(_.split(" "))
      //产生一个RDD MapPartitionsRDD
      .map((_, 1))
      //产生一个RDD ShuffledRDD
      .reduceByKey(_+_)
      //产生一个RDD: mapPartitions
      .saveAsTextFile(args(1))
    sc.stop()
  }
}