Spark
关注
分享
扫一扫
文章平均质量分 80
单线程的呆子
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Spark基本概念扫盲全知道（持续更新修改中。。。。。）
RRDspark的核心弹性分布式数据集 Resilient Distributed DatasetsRDD，包含一组分区列表（实际上是分区到block的映射，具体数据可以是分布式的存储在HDFS各个节点上）以及一组transformation或action算子。RDD的五大特性官网原文1.A list of partitionsrdd里存的不是数据，只是分区到block块的映射，具体数据存在HDF...原创 2018-05-18 20:59:53 · 279 阅读 · 0 评论 -
Spark几种运行模式及搭建（持续更新中。。。。。。。。。。。。）
Spark计算引擎可以运行在standalone，yarn，mesos上。spark 版本 spark-1.6.0-bin-hadoop2.6.tgz三个结点 node001 192.168.189.37 node002 192.168.189.38 node003 192.168.189.39sta...原创 2018-05-21 16:38:03 · 420 阅读 · 0 评论