spark总结4 算子问题总结

本文介绍了Spark中的算子分类,包括转换(Transformation)和动作(Action)两大类,并详细解释了它们的工作原理。文章还强调了Transformation操作的延迟执行特性,即这些操作会在遇到Action时才真正开始执行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

spark总结4 算子问题总结

官网上最清晰

 sc 启动spark时候就已经初始化好了

sc.textFile后 会产生一个rdd

 

spark 的算子分为两类

  一类 Transformation  转换

  一类 Action  动作

Transformation  延迟执行 记录元数据信息     当计算任务触发Action时候才会真正的开始计算

 

posted @ 2017-09-16 11:31 toov5 阅读( ...) 评论( ...) 编辑 收藏
### Spark RDD 转换算子的使用方法及示例 #### 什么是转换算子? 在Spark中,RDD(弹性分布式数据集)支持两种主要的操作:**转换操作**和**动作操作**。转换操作是对现有RDD执行的一种操作,返回一个新的RDD。这些操作不会立即触发计算,而是构建一个逻辑计划来描述如何从其他已有的RDD派生新的RDD[^1]。 #### 常见的转换算子及其功能 以下是几个常见的转换算子以及它们的功能: 1. **map(func)** 对RDD中的每一个元素应用函数`func`并返回一个新的RDD。 2. **filter(func)** 返回一个新的RDD,其中只包含满足条件`func(x)`为真的元素。 3. **flatMap(func)** 类似于`map`,但是可以将每个输入项映射到多个输出项。 4. **union(otherDataset)** 返回两个RDD的并集,即包含两个RDD中所有元素的新RDD[^2]。 5. **join(otherDataset, numPartitions)** 执行两组键值对RDD之间的内连接操作。 6. **groupByKey([numTasks])** 当处理由(key, value)组成的RDD时,此操作会针对每个key聚合所有的value。 7. **reduceByKey(func, [numTasks])** 针对具有相同key的所有values调用指定的二元运算符`func`,从而减少该key对应的values数量。 8. **sortByKey(ascending=True, numPartitions=None)** 按照key排序,可以选择升序或者降序排列。 9. **distinct([numTasks])** 删除重复的数据条目,保留唯一的结果集合。 --- #### 示例代码展示 下面是一些具体的例子,展示了上述提到的一些常用转换算子的实际运用方式。 ##### map() 示例 ```python rdd = sc.parallelize([1, 2, 3, 4]) mapped_rdd = rdd.map(lambda x: x * 2) print(mapped_rdd.collect()) # 输出: [2, 4, 6, 8] ``` ##### filter() 示例 ```python filtered_rdd = rdd.filter(lambda x: x % 2 == 0) print(filtered_rdd.collect()) # 输出: [2, 4] ``` ##### flatMap() 示例 ```python words_list = ["hello world", "spark is great"] rdd_words = sc.parallelize(words_list) flattened_rdd = rdd_words.flatMap(lambda line: line.split(" ")) print(flattened_rdd.collect()) # 输出: ['hello', 'world', 'spark', 'is', 'great'] ``` ##### union() 示例 ```python rdd1 = sc.parallelize([1, 2, 3]) rdd2 = sc.parallelize([4, 5, 6]) united_rdd = rdd1.union(rdd2) print(united_rdd.collect()) # 输出: [1, 2, 3, 4, 5, 6] ``` ##### reduceByKey() 示例 ```python pairs = sc.parallelize([('a', 1), ('b', 1), ('a', 1)]) reduced_pairs = pairs.reduceByKey(lambda a, b: a + b) print(reduced_pairs.collect()) # 输出: [('a', 2), ('b', 1)] ``` --- ### 总结 通过以上介绍可以看出,Spark RDD 的转换算子提供了强大的工具用于数据变换和准备阶段的工作。每种转换都有其特定用途,在实际开发过程中可以根据需求灵活选用不同的转换算子组合实现复杂业务逻辑。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值