SparkOnYarn的博客

一、Spark-Core（三）回顾1.1、Spark on yarn的运行方式二、Shuffle的剖析2.1、遇到action产生job2.2、job产生stage2.3、rdd中的cache2.4、Spark-shell中测试rdd缓存 && StorageLevel2.5、Spark-Core中的框架选择（MEMORY_ONLY）2.6、recomputing重算概念2.7、Spark中的宽窄依赖三、回顾Hadoop中的Yarn3.1、 Spark on

一、Spark-Core（二）回顾二、Stage剖析2.1、遇到action产生job2.2、job产生stage2.3、rdd中的cache2.4、Spark-shell中测试rdd缓存 && StorageLevel2.5、Spark-Core中的框架选择（MEMORY_ONLY）2.6、recomputing重算概念2.7、Spark中的宽窄依赖三、Spark的运行架构（重要指数五颗星）3.1 总结3.2 Cluster Mode Overview一、S

一、Spark-Core基础篇回顾二、Spark如何进行大数据的逻辑处理2.1、入门代码遇到的一个简单错误2.2、求得买个域名下的流量之和2.3、每个省份访问次数的TopN（生产上边界值的处理）三、Spark的运行架构（重要指数五颗星）3.1 总结3.2 Cluster Mode Overview一、Spark-Core基础篇回顾1、为什么选择Spark？Fast：10倍于disk磁盘、100倍于memory内存Easy code：编码容易、交互式的命令行interactiv