spark-sql使用UDF函数实现ip映射省份,数据写出到mysql参数设置。

spark-SQL使用广播变量以及应用数据库的UDF自定义函数的查询会比两张表的连接更加的优化的程序的执行。

两表连接是比较费效率的。

spar-sql 2.x的数据读取,处理,添加schema信息,常见表,SQL查询。

将sql结果输出到mysql的api参数设置。

 还可以创建时设置参数:

val conf = new SparkConf()
      .set("spark.serilizer", "org.apache.spark.serializer.KryoSerializer")
      .set("spark.rdd.compress", "true")
    SparkSession.builder()
      .master("local[*]")
      .appName("xx")
      .config(conf)
      .getOrCreate()

2

import java.util.Properties

import kaoshi.IPUtils
import org.apache.spark.SparkContext
import org.apache.spark.broadcast.Broadcast
import org.apache.spark.sql.{DataFrame, Dataset, SaveMode, SparkSession}

/**
  */
object I
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值