spark编程06——关于本地运行spark程序和打包到集群中运行的区别

SY_Pistachio

于 2022-03-18 21:03:53 发布

阅读量577

点赞数

CC 4.0 BY-SA版权

分类专栏： BigData学习文章标签： spark 本地运行和打包集群运行的区别 intellij-idea IDEA

本文链接：https://blog.youkuaiyun.com/SSYITwin/article/details/123584358

如果本地运行就用：

val sparkConf=new SparkConf().setMaster("local").setAppName("spark_timeShift")

如果打包到集群中运行就是：

val sparkConf=new SparkConf().setMaster("spark://10.10.10.117:7077").setAppName("park_timeShift")

（如何在IDEA中打包见：spark编程01——IDEA创建项目打包到集群中运行）

import java.text.SimpleDateFormat
import java.util.Date
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions.udf
import org.apache.spark.{SparkConf, SparkContext}
object timeShift01 {
  def main(args: Array[String]): Unit = {
    
    //val sparkConf=new SparkConf().setMaster("local").setAppName("spark_timeShift")
    val sparkConf=new SparkConf().setMaster("spark://10.10.10.117:7077").setAppName("park_timeShift")
    val sc=new SparkContext(sparkConf)
    val spark = SparkSession.builder().config(sparkConf).getOrCreate()
    sc.stop()

  }
}