Evankaka的专栏

摘要：本文主要讲了如何使用Spark来运行一个wordCount实例1、本地运行实例 package com.lin.wordcount import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ /** * 本地运行Spark *

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等

摘要：本文主要讲了Spark几种不同的执行模式以及其原理

Spark运行是内存分为三部分，执行内存（execute memory）,存储内存（storge memory）,预留内存（reserved memory）.在1.6版本以前执行内存和存储内存是静态分配的，意思着应用一启动后，各区域的内存大小就是不变的。这就会带来一个后果，有时执行内存严重不足，但是存储内存又都没怎么用，或者相反。因为这个问题，spakr1.6版本之后引入的动态内存管理机制。

本文主要讲了一个Spark Streaming+Kafka整合的实例

下面主要是笔者根据使用Spark过程中的一些调优做一些汇总。

一、安装scala 1、下载taz包 进入http://www.scala-lang.org/download/ 下载后解压 2.配置环境变量 Mac修改 .bash_profile 文件，此文件是mac 当前用户的环境配置文件。 /etc/profile 是当前系统的环境配置文件（Linux，系统可修改这个） .bash_profile 文件的路径是在当前用户下。 vim ~/.bash_...