【Spark】Spark常用方法总结1-创建编程入口（Python版本）

「已注销」

于 2020-01-29 18:35:19 发布

阅读量374

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark 文章标签： spark 大数据 hadoop

本文链接：https://blog.youkuaiyun.com/refbit/article/details/104109002

本文是关于Spark编程的总结，主要介绍如何创建Python环境下的编程入口，包括SparkContext和SparkSession的使用，并探讨两者之间的关系。此外，还讨论了DataFrame与RDD之间的转换，强调DataFrame的表格特性及RDD的灵活性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

今天有时间，将自己的笔记分享出来，方便同僚查阅。不断详细与更新中。为了方便，例子都是以Python写的，后续也会有其他语言的版本。

创建编程入口

SparkContext入口

from pyspark import SparkConf, SparkContext

if __name__ == '__main__':
    conf = SparkConf().setAppName("test").setMaster("local")
    sc = SparkContext(conf=conf)
    rdd1 = sc.parallelize([1, 2, 3, 4, 5

最低0.47元/天解锁文章

200万优质内容无限畅学