qq_40995238的博客

1 性能调优 1.1 分配资源 spark‐submit \ ‐‐master spark://node1:7077 \ ‐‐class cn.itcast.WordCount \ ‐‐num‐executors 10 \ # 配置executor的数量 ‐‐driver‐memory 6g \ # 配置driver的内存（影响不大） ‐‐executor‐memory 6g \ # 配置每一个executor的内存大小 ‐‐executor‐cores 3 \ # 配置每一个executor的cpu个

Spark是什么 Spark是一个开源的类似于Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Spark中的Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。 Spark是MapReduce的替代方案，而且兼容HDFS、Hive，可融入Hadoop的生态系统，以弥补

熟练使用scala编写Spark程序 动手编写一个简易版的Spark通信框架 为阅读Spark内核源码做准备 scala当中方法的定义 scala当中的递归一定要定义返回值 scala当中函数的定义