spark编程06——关于本地运行spark程序和打包到集群中运行的区别

原创

于 2022-03-18 21:03:53 发布 · 577 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark #本地运行和打包集群运行的区别 #intellij-idea #IDEA

如果本地运行就用：

val sparkConf=new SparkConf().setMaster("local").setAppName("spark_timeShift")

如果打包到集群中运行就是：

val sparkConf=new SparkConf().setMaster("spark://10.10.10.117:7077").setAppName("park_timeShift")

（如何在IDEA中打包见：spark编程01——IDEA创建项目打包到集群中运行）

import java.text.SimpleDateFormat
import java.util.Date
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions.udf
import org.apache.spark.{SparkConf, SparkContext}
object timeShift01 {
  def main(args: Array[String]): Unit = {
    
    //val sparkConf=new SparkConf().setMaster("local").setAppName("spark_timeShift")
    val sparkConf=new SparkConf().setMaster("spark://10.10.10.117:7077").setAppName("park_timeShift")
    val sc=new SparkContext(sparkConf)
    val spark = SparkSession.builder().config(sparkConf).getOrCreate()
    sc.stop()

  }
}