4、深入探索Spark：从基础入门到实际应用

深入探索Spark：从基础入门到实际应用

1. 数据目录与示例代码

在Spark中， data 目录下包含了众多以 .txt 结尾的文件，这些文件是Spark组件（如MLlib、Structured Streaming和GraphX）的输入数据。对于开发者而言，学习新平台时，丰富的代码示例和详尽的文档至关重要。Spark提供了Java、Python、R和Scala的示例代码，在学习框架时可充分利用这些资源。

2. 使用Scala或PySpark Shell

Spark自带了四个常用的解释器，它们就像交互式的“shell”，可用于临时数据分析，分别是 pyspark 、 spark-shell 、 spark-sql 和 sparkR 。这些shell的交互性与Python、Scala、R、SQL或Unix操作系统的shell（如bash或Bourne shell）类似。

启动 PySpark 的步骤如下：
- 若从PyPI安装了 PySpark ，直接在命令行输入 pyspark 即可启动：

$ pyspark
Python 3.7.3 (default, Mar 27 2019, 09:23:15)
[Clang 10.0.1 (clang-1001.0.46.3)] on darwin
Type "h