Scala的join算子

 1:使用Scala的算子join进行练习

val spark = SparkSession.builder().master("local[2]").appName("simple").getOrCreate()
    val visit = spark.sparkContext.parallelize(List(("index.html","1.2.3.4"),("about.html","3,4,5,6"),("index.html","1.3.3.1"),("hello.html","1,2,3,4")),2);
    val page = spark.sparkContext.parallelize(List(("index.html","home"),("about.html","about"),("hi.html","2.3.3.3")),2);

    visit.join(page).foreach(println)

    page.join(visit).foreach(println)



打印结果:

第一个join

(index.html,(1.2.3.4,home))
(about.html,(3,4,5,6,about))
(index.html,(1.3.3.1,home))
第二个join
(index.html,(home,1.2.3.4))
(index.html,(home,1.3.3.1))
(about.html,(about,3,4,5,6))

可见,join算子使用的是内连接的join,

以某一个表为基础,KEY相同的打印出来,不相同的不打印

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值