（翻译）Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing

最新推荐文章于 2025-06-20 12:09:50 发布
翻译 最新推荐文章于 2025-06-20 12:09:50 发布 · 1.4k 阅读 · 2
文章标签：

#RDD

博客提供了中文版链接http://shiyanjun.cn/archives/744.html ，标签涉及RDD。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Lu_kuan@
关注
pytorch DataLoader
jacke121的专栏
06-08 2734
COCODataset 中返回numpy数组或者字典中包含numpy，会自动转换为tenser from torch.utils.data import DataLoader dataloader =DataLoader(COCODataset(data_path, ...
Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory
06-20
Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing.SPARK RDD论文
Apache Spark 2.2.0 中文文档 - Spark RDD（Resilient Distributed Datasets）论文 | ApacheCN
片刻 - ApacheCN
09-20 1381
Spark RDD（Resilient Distributed Datasets）论文 概要 1: 介绍 2: Resilient Distributed Datasets（RDDs） 2.1 RDD 抽象 2.2 Spark 编程接口 2.2.1 例子 – 监控日志数据挖掘 2.3 RDD 模型的优势 2.4 不适合用 RDDs 的应用 3
大数据技术之Spark
最新发布
2301_82162165的博客
06-20 1088
Spark是什么定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unified）分析引擎。Spark最早源于一篇论文 Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing， 该论文是由加州大学柏克莱分校的 Matei Zaharia 等人发表的。论文中提出了一种弹性分布式数据集（即 RDD）的概念。
Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing
baizhuding5300的博客
05-27 271
阅读笔记 提出问题： 数据的重用在很多迭代的机器学习算法和图算法中都很常见，如网页排名、K-means聚类、逻辑回归等。 另一个数据重用的典型场景是交互式数据挖掘，用户在同一数据集上运行多重即席查询。 尽管现有框架为处理机群的计算资源提供了大量抽象，对于复杂计算中包含大量数据重用的这类应用，执行效率仍然很低。 现有框架唯一重用数据的方式就是将它写入到外部稳定的分...
Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing
新博客：https://aping-dev.com/
11-22 3225
1 Intruction 问题1：        许多框架缺乏充分利用分布式内存的抽象，这使得它们不适用于大量计算都需要重用中间结果的情形，但数据重用又比较常见，比如许多迭代机器学习和图算法、交互式数据工具。         分布式内存抽象的概念——弹性分布式数据集（RDD，Resilient  Distributed Datasets），在大量应用中支持数据重用，具有容错性、并行数据结构，
入门必读 | Spark 论文分享与导读
wujiandao的专栏
01-13 1210
点击蓝色“有关SQL”关注我哟加个“星标”，天天与8000人一起快乐成长本次分享的 Spark论文是《Resilient Distributed Datasets: A fault-t...
Resilient Distributed Datasets
04-15
Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing matei的论文
mapreduce相关文献
06-06
"Resilient distributed datasets: A fault-tolerant abstraction for in-memory cluster computing." Proceedings of the 9th USENIX conference on Networked Systems Design and Implementation. USENIX ...
大数据系统——Spark：Cluster Computing with Working Sets论文分享
MyNuTh的博客
06-27 2450
1.背景介绍 这篇文章是UC Berkeley的AMPLab实验室发的，Berkeley也是我自己最喜欢的大学之一。 上一篇文章介绍的Pig被其作者认为是介于SQL语言和结构化程序语言之间的一种语言，而本文直接将其当作SQL接口。之前介绍的MapReduce是在磁盘框架上，而Spark是属于内存计算框架。之后还会介绍另一篇重点不同的关于Spark的论文。 MapReduce及其变体可以在商用计算...
Spark 经典论文笔记---Resilient Distributed Datasets : A Fault-Tolerant Abstraction for In-Memory Cluster C...
weixin_30505751的博客
07-21 348
Spark 经典论文笔记 Resilient Distributed Datasets : A Fault-Tolerant Abstraction for In-Memory Cluster Computing 为什么要设计spark 现在的计算框架如Map/Reduce在大数据分析中被广泛采用，为什么还要设计新的spark？ Map/Reduce提供了高级接口可以方便快捷的调取计算...
Spark-RDD论文《Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster 》有感
HaLosec_Wei
09-21 782
动机 当前很多分布式计算框架无法实现高效的迭代式计算以及交互式数据挖掘，包括Hadoop！，首先为了解决高效这个问题，RDD提出基于内存的迭代思想，直接鄙视了Hadoop要不断进行磁盘Spill的弊端；其次，为了保证大数据场景下迭代计算的正常运转，RDD自身具有高容错快恢复的特点。 背景及意义 1、Hadoop？ Hadoop为分布式大规模数据的计算而生，但别忘了，Hadoop依托于HDFS...
论文笔记：Resilient Distributed Dataset: A Fault-Tolerant Abstraction for In-memory C
zhangqiang1104的博客
12-21 1470
中文版链接：http://shiyanjun.cn/archives/744.html 摘要 本文提出了分布式内存抽象的概念——弹性分布式数据集（RDD，Resilient Distributed Datasets），它具备像MapReduce等数据流模型的容错特性，并且允许开发人员在大型集群上执行基于内存的计算。现有的数据流系统对两种应用的处理并不高效：一是迭代式算法，这在图应用和机
RDD：A Fault-Tolerant Abstraction for In-Memory Cluster Computing
684的博客
07-03 327
Abstract RDD是一个能让程序员以容错的方式在集群上运行内存计算任务的分布式内存的抽象概念。RDD主要被两种应用驱动所产生：迭代算法和交互式数据挖掘工具。在这两种情况下，将数据保存在内存中可以将性能提升一个数量级。为了有效地实现容错，RDDs基于对共享状态的粗粒度转换(transformations)而不是细粒度更新，提供了一种受限的共享内存形式。但是，我们展示了RDDs具...
Spark - Resilient Distributed Datasets (RDDs)介绍
weixin_37536020的博客
06-15 979
Resilient Distributed DataSets，弹性分布式数据集，可以把RDD看作一种分布式集合。其RDD本身不存储数据，数据实际存储在内存或磁盘上。同时RDD中的数据不可更改，只能通过算子生成一个新的RDD实现对数据的修改。一个父RDD可以被多个下游RDD依赖，为避免父RDD重复计算，可对父RDD的计算结果缓存。RDD可定义分区规则，实现多线程并发处理RDD中的数据。
RDD-Resilient Distributed Datasets 弹性分布式数据集
weixin_42745107的博客
08-28 1270
RDD- 弹性分布式数据集 RDD 是Spark技术的核心，接下来我们来探讨RDD中的核心概念和问题。 RDD 创建 这里有三种构建RDD的方式： 并行化一个内存中的集合。 第一种方法适用于在少量数据集上并行执行CPU增强型的计算。并行化得程度由单个机器，或者机器集群所有CPU核的总数所决定。 val params = sc.parallelize(1 to 10) val r...
RDD（Resilient Distributed Datasets 弹性分布式数据集）
ChainingBlocks
02-24 2668
RDD是spark计算框架的核心，spark相比于hadoop的优越性在RDD中体现得淋漓尽致。对于RDD的介绍，最好的资料就是那篇专门介绍RDD的论文了，已经有中文翻译。使用scala编写spark应用，给人的感觉就像是在使用scala编写普通的scala程序，感觉spark编程和scala编程完成融合在一起了– RDD就是scala的一个类。 RDD是一个只读不可修改的数据集，在scala
深度解析：Spark RDD：内存计算的 fault-tolerant 抽象
Spark 技术论文深入探讨了 Resilient Distributed Datasets (RDD) —— 一种在分布式内存计算环境中实现故障 tolerant 的抽象模型。这篇论文由来自 University of California, Berkeley 的一组研究人员撰写，包括 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值