PySpark tutorial 学习笔记1——概述，SparkContext

最新推荐文章于 2024-08-07 18:43:43 发布

daisyyyyyyyy

最新推荐文章于 2024-08-07 18:43:43 发布

阅读量1.9k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据

本文链接：https://blog.youkuaiyun.com/u013129109/article/details/81086693

本文是PySpark教程的第一部分，介绍了Spark的基本概念和PySpark的作用。Apache Spark是一个快速的实时处理框架，PySpark是Spark的Python接口，通过Py4j库实现。SparkContext是PySpark的核心，它是所有Spark功能的入口点。在PySpark Shell和Python程序中，SparkContext自动创建，用于连接集群并初始化。示例展示了如何在Shell和Python程序中使用SparkContext。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark：https://spark.apache.org/

PySpark官方文档：http://spark.apache.org/docs/latest/api/python/pyspark.html

1.PySpark简介

1.1 Spark - 概述

Apache Spark是一个闪电般快速的实时处理框架。它可以使用内存计算以实时分析数据。由于Apache Hadoop MapReduce仅执行批处理并且缺乏实时处理功能，所以才有了Apache Spark，因为它可以实时执行流处理，也可以处理批处理。除了实时和批处理之外，Apache Spark还支持交互式查询和迭代算法。Apache Spark有自己的集群管理器，可以托管其应用程序。它利用Apache Hadoop进行存储和处理。它使用HDFS（Hadoop分布式文件系统）进行存储，也可以在YARN上运行Spark应用程序。

1.2 PySpark - 概述

Apache Spark是用Scala编写的。 Apache Spark社区发布了一个工具PySpark，可以使用用Spark支持Python。 PySpark可以使用Python语言操作RDD。正是由于一个名为Py4j的库，他们才能实现这一目标。PySpark提供了PySpark Shell，它将Python API链接到spark核心并初始化SparkContext。