Spark学习痛点和路线图

Spark学习的痛点

对初学者（特别是自学者）学习来说，Spark学习有以下两大痛点。

1．头绪太多，不知道从哪学

从Spark的技术栈可以看到，涉及的技术从操作系统到外部组件、Spark框架、交互工具、编程语言，涉及多个层次，每个层次又包括多个技术和知识点，对初学者来说，可能只是对其中的部分技术有一些模糊的认识，并不会形成图1中那么全面、清晰的层次。

图1.Spark Streaming数据源和输出

这样，就会导致学习的时候，到底是从哪开始？比如确定了先学习Linux，那么Linux的发行版又选择哪个好？Linux的命令又需要学习哪些？如果要想学得全面，仅《鸟哥的Linux私房菜》系列书可能就够学1、2年的，那么又要学到哪个程度？又比如Scala语言，仅简化版的《快学Scala》就有300多页，10多章，又该从哪开始？学习哪些？学到什么程度？Spark框架除了Spark Core以外，还有GraphX、Streaming、Spark SQL和SparkR等，它们是否都要一个一个的学？还是只选其中几个学？如果学，那又该选择哪几个最好呢？

所以，在Spark初学者的道路上，处处都存在着选择，如何在纷繁复杂的路径中，选择一条较优的路径，对初学者来说，通常是很困难的事情。

2．处处掣肘，起步艰难

Spark初学者在起步阶段会遇到各种各样的问题，例如，Linux的各种权限问题、命令使用问题、Spark环境构建的各种配置问题、Scala学习中的各种语法问题、Spark编程中的各种异常等，都是横亘在初