
spark学习
文章平均质量分 81
LeaderQiu
iOS终级攻城狮
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Mac平台下spark单机环境 安装
单机环境安装1.安装环境 系统:Linux系统平台(Windows上需要安装Cygwin,以模拟Linux环境) 预装依赖:JDK(Linux系统一般会自带安装好的openjdk,本文跳过JDK的安装)、Scala2.安装Scala Scala官网地址:http://www.sc转载 2017-03-22 15:42:13 · 2126 阅读 · 0 评论 -
Spark学习之RDD常用操作
一些操作对所有类型的RDD都可以使用,而另一些操作只能在特殊的RDD类型使用。例如只有对于元素都是数字的RDD才能计算平均值。在下面的操作都是在RDD上通用的操作。Transformationsmap() Map函数和MapReduce中的map意义相同,即返回一个新RDD,其元素是输入RDD中元素,按照某个规则得到的新元素。输入输出的RDD中包含的元素是一一对应的。 例如转载 2017-03-26 11:33:39 · 966 阅读 · 0 评论