西代零零发

1背景介绍现今分布式计算框架像MapReduce和Dryad都提供了高层次的原语，使用户不用操心任务分发和错误容忍，非常容易地编写出并行计算程序。然而这些框架都缺乏对分布式内存的抽象和支持，使其在某些应用场景下不够高效和强大。RDD(Resilient Distributed Datasets弹性分布式数据集)模型的产生动机主要来源于两种主流的应用场景：Ø  迭代式算法：迭代式机器学习、图算法，包

前言现今Spark正是风头正劲时，Spark本是UCBerkeley的AMPLab诞生的项目，后来捐赠给了Apache来管理源码和后续发展。今年从Apache孵化器终于孵化出了1.0版本。其对大数据的支持从内存计算和流处理，到交互式查询，一直到图计算和机器学习，可谓摆开了架势、拉长了战线，一方面挑战老前辈Hadoop和MapReduce，另一方面又随时准备迎接同样的后起之秀的挑战。大数据的今天今天

UCBerkeley研发的Tachyon(超光子['tækiːˌɒn]，名字要不要这么太嚣张啊：)是一款为各种集群并发计算框架提供内存数据管理的平台，也可以说是一种内存式的文件系统吧。如下图，它就处于这样一个层次：在现有存储系统如HDFS之上，在Spark，MapReduce，Impala等各种计算框架之下。为什么要有这么一个框架呢？MapReduce就不说了，但像Spark这种内存计算框架，为什

首先简单介绍一下Dremel是什么，能解决什么问题。第二部分着重讲Dremel的数据模型，即数据结构。第三部分将谈一下在此数据结构上设计的算法。1 起源Dremel的数据模型起源于分布式系统的应用环境(Protocol Buffers，一种在Google内广泛使用，现已开源的实现)。其数据模型是基于强类型的嵌套记录，抽象语法可以表示成下面公式：一个例子：2 嵌套列式存储2.1 记录结构的无损表示首

先来看一下一张技术的全景图，其中涉及内存计算的技术标成红色。 1）事务处理：主要分为Cache(Memcached, Redis, GemFire)、RDBMS、NewSQL(以VoltDB为首的)三部分，缓存和NewSQL数据库是关注的重点。2）流式处理：Storm本身只是计算的框架，而Spark-Streaming才实现了内存计算式的流处理。3）分析阶段的对比：Ø  通用处理：MapReduc