本地运行spark程序配置

最新推荐文章于 2024-08-03 10:30:34 发布

原创最新推荐文章于 2024-08-03 10:30:34 发布 · 571 阅读

0 ·

CC 4.0 BY-SA版权

大数据专栏收录该内容

8 篇文章

订阅专栏

本文介绍如何使用Apache Spark实现WordCount应用，包括配置SparkContext、读取HDFS上的输入文件等关键步骤。

val  inputFile = "hdfs://node02:9000/input/Hamlet.txt"
val conf = new SparkConf().setAppName("WordCount")
  //.setMaster("local")
  .setMaster("spark://node01:7077")
  .setJars(List("D:\\code\\Test\\TestSpark\\out\\artifacts\\TestSpark_jar\\TestSpark.jar"))//.setMaster("spark://node01:7077")
  //.setExecutorEnv("spark.sql.warehouse.dir","file:///D://tmp//hadoop")
  //.config("spark.sql.warehouse.dir","file:///D://test")
val sc = new SparkContext(conf)
val textFile = sc.textFile(inputFile)

如果master设置为spark://node01:7077 则file需要设置为hdfs分布式的文件 setJars参数必须设置