网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
// 连接 Spark
val conf = new SparkConf().setAppName("Task1_1").setMaster("spark://master:7077")
val spark = SparkSession.builder().config(conf).enableHiveSupport().getOrCreate()
spark.sparkContext.setLogLevel("OFF")
spark.conf.set("hive.exec.dynamic.partition.mode", "nonstrict")
// 连接数据库
val mysqldf = spark.read.format("jdbc")