refer to :http://www.netfoucs.com/article/myboyliu2007/65317.htmlspark安装包：spark-0.9.0-incubating-bin-hadoop2.tgz操作系统：     CentOS6.4jdk版本：      jdk1.7.0_211. Cluster模式1.1安装Hadoop用

ref:   http://www.aboutyun.com/thread-12900-1-1.htmlimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.SparkContext._import scala.collection.mutable/** * * Crea

为什么建议尽量在Spark中少用GroupByKey，让我们看一下使用两种不同的方式去计算单词的个数，第一种方式使用reduceByKey ；另外一种方式使用groupByKey，代码如下：01# User: 过往记忆02# Date: 2015-05-1803#

Spark特别适用于多次操作特定的数据，分mem-only和mem & disk。其中mem-only:效率高，但占用大量的内存，成本很高;mem & disk:内存用完后，会自动向磁盘迁移，解决了内存不足的问题，却带来了数据的置换的消费。Spark常见的调优工具有nman、Jmeter和Jprofile,以下是Spark调优的一个实例分析：1、场景：精确客户群对一个容量为300g的客户信

mapPartitionsdef mapPartitions[U](f: (Iterator[T]) => Iterator[U], preservesPartitioning: Boolean = false)(implicit arg0: ClassTag[U]): RDD[U]该函数和map函数类似，只不过映射函数的参数由RDD中的每一个元素变成了RDD中每一个分区的迭代器。

通过一个实验来看Spark 中 map 与 flatMap 的区别。步骤一：将测试数据放到hdfs上面hadoopdfs -put data1/test1.txt /tmp/test1.txt该测试数据有两行文本：步骤二：在Spark中创建一个RDD来读取hdfs文件/tmp/test1.txt步骤三：查看

Printing elements of an RDDAnother common idiom is attempting to print out the elements of an RDD using rdd.foreach(println) or rdd.map(println). On a single machine, this will generate the expe

在本地模式运行spark wordcount，需要引入spark-assembly_2.10-0.9.0-incubating-hadoop1.0.4.jar

run a simple spark example on local

1. 背景随着互联网的高速发展，基于数据密集型应用的计算框架不断出现，从支持离线处理的MapReduce，到支持在线处理的Storm，从迭代式计算框架Spark到流式处理框架S4，…，各种框架诞生于不同的公司或者实验室，它们各有所长，各自解决了某一类应用问题。而在大部分互联网公司中，这几种框架可能都会采用，比如对于搜索引擎公司，可能的技术方案如下：网页建索引采用MapReduce框架，自然

zhuan阿里巴巴作为国内使用Hadoop最早的公司之一，已开启了Apache Hadoop 2.0时代。阿里巴巴的Hadoop集群，即云梯集群，分为存储与计算两个模块，计算模块既有MRv1，也有YARN集群，它们共享一个存储HDFS集 群。云梯YARN集群上既支持MapReduce，也支持Spark、MPI、RHive、RHadoop等计算模型。本文将详细介绍云梯YARN集群的 技术

refer to:http://blog.jobbole.com/47791/概述什么是SparkSpark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和

SparkContext:def createSparkContext(): SparkContext = {val master = this.master match {case Some(m) => mcase None => {val prop = System.getenv("MASTER")if (prop != null) prop else "local"

sbt assembly    近期使用sbt战斗assembly发生故障时，包，在package什么时候，发生jar包冲突/文件冲突，两个相同class来自不同jar包classpath内心冲突。有关详细信息：我有一个self4j的jar， hadoop-common-hdfs的jar包。当中hadoop-common-hdfs.jar内包括了self4j这个jar包，导致冲突。