shuhuai007的专栏

概述什么是SparkSpark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习

转载自：http://dongxicheng.org/mapreduce-nextgen/mesos_vs_yarn/1. 背景随着互联网的高速发展，基于数据密集型应用的计算框架不断出现，从支持离线处理的MapReduce，到支持在线处理的Storm，从迭代式计算框架Spark到流式处理框架S4，…，各种框架诞生于不同的公司或者实验室，它们各有所长，各自解决了某一类应用问题

转载自：http://dongxicheng.org/framework-on-yarn/build-spark-on-hadoop-2-yarn/本文介绍的是如何将Apache Spark部署到Hadoop 2.2.0上，如果你们的Hadoop是其他版本，比如CDH4，可直接参考官方说明操作。需要注意两点：（1）使用的Hadoop必须是2.0系列，比如0.23.x，2.0.x

转载自：http://www.youkuaiyun.com/article/2014-01-27/2818282-Spark-Streaming-big-dataSpark Streaming，我们不得不说一下BDAS（Berkeley Data Analytics Stack），这个伯克利大学提出的关于数据分析的软件栈。从它的视角来看，目前的大数据处理可以分为如以下三个类型。 复杂的批量

http://scala-ide.org/download/current.html

前段时间写了几篇使用Eclipse构建Spark源码阅读和开发环境的文章。经过一段时间的试用，发现Eclipse在Scala支持方面很不完善，体验非常差，因此转而使用Intellij IDEA，本文介绍如何使用Intellij IDEA构建Spark源码阅读和开发环境。（1）准备工作1）  安装JDK 6或者JDK 72）  安装scala 2.10.x (注意

比如 val tmp = （a1, a2, a3, ... an) tmp.reduceLeft 会按照如下的步骤执行：先计算f(a1,a2) ,其中f是一个函数，这个函数是作为tmp.reduceLeft的参数传进去的然后tmpa 接着tmpa 直到tmpa 最后tmp.reduceLeft 返回tmpa

Just for posterity, here is a Bash one-liner to download the VIM plugins to handle syntax highlighting for Scala: 1$ mkdir -p ~/.vim/{ftdetect,indent,syntax} && for d in ftdetect

其他的都和Java的差不多，唯一的区别是多了Scope protectScope of protectionAccess modifiers in Scala can be augmented with qualifiers. A modifier of the form private[X] or protected[X] means that acces