Spark由浅到深(*)-- 基础部分代码性小结

0.预先准备

安装 Spark的库

// 188多Mb的文件
pip install pyspark

1. 初始化SparkContext

from pyspark import SparkConf, SparkContext

# 先创建一个 SparkConf 对象来配置你的应用
conf = SparkConf().setMaster("local").setAppName("My App")

# 然后基于这个SparkConf 创建一个 SparkContext 对象
sc = SparkContext(conf = conf) 

示例创建 SparkContext 的最基本的方法，你只需传递两个参数:

• 集群 URL：告诉 Spark 如何连接到集群上。在这几个例子中我们使用的是 local，这个特殊值可以让 Spark 运行在单机单线程上而无需连接到集群。
• 应用名：在例子中我们使用的是 My App。当连接到一个集群时，这个值可以帮助你在集群管理器的用户界面中找到你的应用。

初始化 SparkContext 之后，可以使用所有方法（比如利用文本文件）来创建 RDD 并操控它们。

from pyspark import SparkConf, SparkContext

# 先创建一个 SparkConf 对象来配置你的应用
conf = SparkConf().setMaster("local").setAppName("My App")

# 然后基于这个SparkConf 创建一个 SparkContext 对象
sc = SparkContext(conf = conf) 

# 开始使用RDD的方法
myFile = sc.textFile("README.md")

# 转化操作
myFileLines = myFile.filter(lambda line: "Python" in line)

# 持久化
myFileLines.persist
<bound method PipelinedRDD.persist of PythonRDD[3] at RDD at PythonRDD.scala:48>

# 行动操作
myFileLines.count()
3

# 关闭Spark
sc.stop()

最后，关闭 Spark 可以调用 SparkContext 的 stop() 方法，或者直接退出应用（比如通过System.exit(0) 或者 sys.exit()）。

2. 创建RDD

// 时间问题, 留坑再填.