本文介绍Spark中核心概念RDD及其操作方式。包括如何创建RDD，如通过textFile()函数从外部读取数据集，或使用parallelize()函数从驱动程序中并行化集合。此外还介绍了RDD的转换操作，例如filter()和map()函数，以及行动操作如first()和count()函数。
学习Spark首先学到就是spark中数据核心抽象----RDD.
Spark中的RDD是一个不可变分布式对象集合。每个RDD都被分为多个分区运行在集群的不同节点上。
1. 创建RDD
（1） 读取一个外部数据集
textFile()函数将一个文本文件读入为一个存储字符串的RDD。
（2） 读取在驱动器程序里分发驱动器程序中的对象集合。
parallerlize()函数
2. RDD转化操作（transformation）：由一个RDD生成一个新的RDD。
例子：filter()函数,map()函数
转化操作可以操作任意数量的RDD。例如：union(),可以操作两个RDD，合并为一个RDD。
3. RDD行动操作（action）：对RDD计算出一个结果。
例子：first()函数，count()函数
扫一扫
754
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
