Spark编程基础（一）

关注

VIP免费原创最新推荐文章于 2026-02-23 00:13:39 发布 1k 阅读 AI 写同款· GEO 优化 ›

Spark实战指南：从入门到精通 text数据分区：合理设置分区数（建议每个分区128MB）避免数据倾斜：使用盐化技术或自定义分区器内存管理：合理配置内存比例（持久化策略：根据数据使用频率选择存储级别广播变量：小数据集使用广播减少网络传输检查点机制：流处理中定期保存状态监控调优：利用Spark UI分析性能瓶颈。阅读详情

Spark编程基础（Python版）

Spark简介

Spark是一种安全的、经正式定义的编程语言，被设计用来支持一些安全或商业集成为关键因素的应用软件的设计。
Spark具有如下几个主要特点：
运行速度快
容易使用
通用性
运行模式多样

RDD是什么

弹性分布式数据集（RDD，Resilient Distributed Datasets），它具备像MapReduce等数据流模型的容错特性，并且允许开发人员在大型集群上执行基于内存的计算

SparkContext的概念

SparkContext是整个spark的入口，相当于程序的main函数。在我们启动spark的时候，spark已经为我们创建好了一个SparkContext的实例，命名为sc，我们可以直接访问到。
在这里插入图片描述
创建RDD也需要基于sc进行

RDD（弹性的分布式数据集）创建

RDD可以通过两种方式创建：
（1）从本地文件系统中加载数据创建RDD

# 从本地文件系统中加载数据
 lines = sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt")
# 从HDFS文件系统中加载数据
 lines = sc.textFile("hdfs://localhost:9000/user/hadoop/word.txt")
 lines = sc.textFile("/user/hadoop/word.txt")
 lines = sc.textFile("wor