Spark 中算子功能与分类介绍

最新推荐文章于 2025-05-11 22:12:24 发布

warrior_zhang

最新推荐文章于 2025-05-11 22:12:24 发布

阅读量4.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark linux class

本文链接：https://blog.youkuaiyun.com/warrior_zhang/article/details/50503368

本文主要介绍了Spark中的算子功能，包括转换算子和行动算子的分类，结合Spark standalone模式，深入探讨了其在大数据处理中的应用。同时，文章还提及了Linux系统的基础知识，如GENERIC NETLINK的介绍和使用，以及gnuplot在科学研究中的作用。此外，还涉及了Hadoop生态圈、Zookeeper集群部署和Linux系统配置等相关话题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

    最近看了一些SPARK资料，还没有系统性的整理，这里先归纳一下spark中算子的总结。如有什么错误或者不妥之处，希望大神们指出，相互交流共同进步！！哈哈哈
    算子的定义：RDD中定义的函数，可以对RDD中的数据进行转换和操作。
    下面根据算子类型的分类进行总结：
1. value型算子
    从输入到输出可分为一对一（包括cache）、多对一、多对多、输出分区为输入分区自激
    1)一对一，
        map,简单的一对一映射，集合不变；
         flatMap，一对一映射，并将最后映射结果整合；
        mappartitions,对分区内元素进行迭代操作，例如过滤等，然后分区不变
        glom,将分区内容转换成数据
    2）多对一，
        union，相同数据类型RDD进行合并，并不去重
        cartesian,对RDD内的所有元素进行笛卡尔积操作
    3）多对多，
        groupBy，将元素通过函数生成相应的Key，然后转化为Key-value格式
    4）输出分区为出入分区子集，
        filter，对RDD进行过滤操作，结果分区不调整
&