如果本地运行就用:
val sparkConf=new SparkConf().setMaster("local").setAppName("spark_timeShift")如果打包到集群中运行就是:
val sparkConf=new SparkConf().setMaster("spark://10.10.10.117:7077").setAppName("park_timeShift")(如何在IDEA中打包见:spark编程01——IDEA创建项目打包到集群中运行)
import java.text.SimpleDateFormat import java.util.Date import org.apache.spark.sql.SparkSession import org.apache.spark.sql.functions.udf import org.apache.spark.{SparkConf, SparkContext} object timeShift01 { def main(args: Array[String]): Unit = { //val sparkConf=new SparkConf().setMaster("local").setAppName("spark_timeShift") val sparkConf=new SparkConf().setMaster("spark://10.10.10.117:7077").setAppName("park_timeShift") val sc=new SparkContext(sparkConf) val spark = SparkSession.builder().config(sparkConf).getOrCreate() sc.stop() } }