Spark API编程动手实战-01-以本地模式进行Spark API实战map、filter和collect

本文通过本地模式测试SparkAPI,详细介绍了使用local方式运行spark-shell的过程,从parallelize操作入手,深入探讨了map和filter操作,并展示了采用Scala风格编程方式的实现,强调了一行代码完成大多数功能实现的特点。

首先以spark的本地模式测试spark API,以local的方式运行spark-shell:

先从parallelize入手吧:

map操作后结果:

 

下面看下 filter操作:

filter执行结果:

我们用最正宗的scala函数式编程的风格:

执行结果:

从结果 可以看出来,与之前那种分步奏方式结果是一样的

但采用这种方式,即是复合scala风格的写法,也是符合spark的应用程序风格的写法,在spark的编程中,大多数功能的实现都是只要一行代码即可完成。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值