大数据
墨菲特与牛战士
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
RDD操作
概述:针对RDD的操作分为两种,一种是Transform变换操作,一种是Action执行操作。 Transform操作是懒操作(简称:算子),懒操作不会真正的触发RDD的处理计算; Action操作会触发计算。 一、Transform操作 1.map(fun): 参数是函数,函数会作用于RDD的每一个元素,并会返回一个RDD val rdd = sc.makeRDD(List(1,3,5,7,9)...原创 2020-02-20 16:52:01 · 1169 阅读 · 0 评论 -
Spark----RDD介绍
一、概念 RDD(Resilient Distributed Datasets),弹性分布式数据集。特点是可以并行操作,并且是容错的。有两种方法可以创建RDD: 1.执行Transform操作(变换操作); 2.读取外部存储系统的数据集,如:HDFS、HBase,或者任何与Hadoop相关的数据源。 二、入门实例 案例一: //scala 语言 val data = Array(1,2,3,4,5...原创 2020-02-20 15:51:56 · 214 阅读 · 0 评论 -
Spark简介
一、spark介绍 Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的,后贡献给Apache。是一种快速、通用、可扩展的大数据分析引擎。它是不断壮大的大数据分析解决方案家族中备受关注的明星成员,为分布式数据集的处理提供了一个有效框架,并以高效的方式处理分布式数据集。Spark集批处理、实时流处理、交互式查询、机器学习与图计算于一体,避免了多种运算场景下...原创 2020-02-17 17:58:37 · 659 阅读 · 0 评论 -
大数据概念
原创 2020-02-13 16:13:41 · 339 阅读 · 0 评论
分享