小胖子的博客

最近需要跟进小组大势，所以学习一下Spark。本文提供一份Hadoop 2.x.x的详细教程，非常好用。按照流程来，基本没有问题。 本教程由给力星出品，原文链接http://www.powerxing.com/install-hadoop/

Apache Spark 是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。Spark 正如其名，最大的特点就是快（Lightning-fast），可比 Hadoop MapReduce 的处理速度快 100 倍。此外，Spark 提供了简单易用的 API，几行代码就能实现 WordCount。本教程主要参考官网快速入门教程，介绍了 Spark 的安装，Spark shell 、RD

要安装SparkR，首先需要安装好hadoop和Spark，这个安装前面两篇已经引用了详细的教程。 值得注意的是，jdk也要确保安装正确，并且有一个默认的版本（如果安装过多个不同版本的jdk），可以通过sudo update-alternatives --config java进行查看和设置。 本文只针对Ubuntu，其他的系统不一定有用。下面通过走过的弯路和具体的安装步骤进行一下记录