ichsonx的专栏

PS：此贴会随着笔者的使用推移，不断完善 1.启动spark on yarn的情况下，提示assembly/target/scala-2.10/这个目录不存在的异常，无法启动master 这是个奇葩的问题，笔者是使用scala2.11来进行构建spark的，在配置文件中的scala home也是2.11的。也没找到配置scala2.10的地方。 于是笔者就在提示的目录下mkdir了一

问题导读： 1、Spark Application的运行架构有哪些组成？ 2、Spark on YARN 的运行过程是什么？ 前言 Spark Application的运行架构由两部分组成：driver program（SparkContext）和executor。Spark Application一般都是在集群中运行，比如Spark Standalone、YARN、mesos

问题导读 1.spark-submit各个参数的含义是什么？ 2.集群启动都包含哪些脚本？ 3.如何实现连接一个应用程序到集群中？ Spark中文手册-编程指南 Spark之一个快速的例子Spark之基本概念 Spark之基本概念 Spark之基本概念（2） Spark之基本概念（3） Spark-sql由入门到精通 Spark-sql由入门到精通续 sp

http://www.cnblogs.com/cenyuhai/p/3775687.html

前段时间写了几篇使用Eclipse构建Spark源码阅读和开发环境的文章。经过一段时间的试用，发现Eclipse在Scala支持方面很不完善，体验非常差，因此转而使用Intellij IDEA，本文介绍如何使用Intellij IDEA构建Spark源码阅读和开发环境。 （1）准备工作 1）  安装JDK 6或者JDK 7 2）  安装scala 2.10.x (注意版本) 2）下载I