spark-SQL使用广播变量以及应用数据库的UDF自定义函数的查询会比两张表的连接更加的优化的程序的执行。
两表连接是比较费效率的。
spar-sql 2.x的数据读取,处理,添加schema信息,常见表,SQL查询。
将sql结果输出到mysql的api参数设置。
还可以创建时设置参数:
val conf = new SparkConf()
.set("spark.serilizer", "org.apache.spark.serializer.KryoSerializer")
.set("spark.rdd.compress", "true")
SparkSession.builder()
.master("local[*]")
.appName("xx")
.config(conf)
.getOrCreate()
2
import java.util.Properties
import kaoshi.IPUtils
import org.apache.spark.SparkContext
import org.apache.spark.broadcast.Broadcast
import org.apache.spark.sql.{DataFrame, Dataset, SaveMode, SparkSession}
/**
*/
object I