pyspark前言

Spark是什么

 

 

1.构建pycpark执行环境入口对象

# 导包
from pyspark import SparkConf, SparkContext

# 创建SparkConf 类对象
conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")
#      得到一个实例 可以为她设置一些东西   本地运行     为程序任务起个名字
# 链式调用法 注意的是后面调用的返回值一定是 第一个调用(SparkConf())的对象

# 基于SparkConf类创建SparkContext对象
sc = SparkContext(conf=conf)
# 打印pyspark的运行版本
print(sc.version)
# 停止SparkContext对象的运行（停止pyspark程序）
sc.stop()