RDD用法与实例(一)基础介绍

本文介绍了Spark中的RDD操作,包括transformation(如filter、map、reduceByKey)和action(如first、take、takeOrdered)。重点讨论了transformation、action与cache的执行顺序,强调只有action才会触发实际计算,并提供了多个实例来说明其用法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

##部分材料内容源自于HKUST的课上笔记
在这里插入图片描述
只有执行actions里的才会最终计算
例如↓

#Read data from local file system:

# sc.textFile 读取数据
fruits = sc.textFile('../data/fruits.txt')
yellowThings = sc.textFile('../data/yellowthings.txt')
print(fruits.collect())
print(yellowThings.collect())

transformation 和 action 和 cache 的实际执行顺序是什么情况呢?他们是否改变了cache?如果没有cache是什么情况?见如下这个例子

见:RDD用法与实例(二) transformation 和 action 和 cache 的实例应用执行顺序分析

lambda表达式

lambda是什么?g = lambda x:x+1
结果

   g(1)

  >>>2

  g(2)

  >>>3

也可以写成lambda x:x+1(1)<

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值