林子雨-Spark入门教程(Python版)-学习笔记（一）

最新推荐文章于 2025-03-21 11:31:58 发布
最新推荐文章于 2025-03-21 11:31:58 发布
阅读量3.4k 收藏 10
点赞数 4
分类专栏： 大数据 SPARK
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/SummerHmh/article/details/90146991
版权
本文介绍了Spark的设计与运行原理，包括其对比Hadoop MapReduce的优势，如更多的操作算子、内存计算和DAG任务调度。详细讲解了Spark的运行架构，如RDD、DAG、Executor等概念，以及任务执行的基本流程和特点。还讨论了RDD的只读特性、转换和行动算子、依赖类型以及创建RDD的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

第1章 Spark的设计与运行原理

简介

hadoop中计算框架MapReduce的缺点：

  • 表能能力有限，计算都必须要转化成Map和Reduce两个操作，难以表示复杂场景
  • IO开销大，中间结果写入到磁盘中，每次执行时都需要从磁盘读取数据
  • 延迟高，IO读取耗时，同时任务串行进行，等待时间长

于是，引入了SPARK：

  • 更多操作算子，计算模式虽然也属于MapReduce，但具备更多算子
  • 内存计算，中间结果直接放到内存中，避免了从磁盘中频繁读取数据，带来了更高的迭代运算效率
  • DAG的任务调度执行机制，要优于MapReduce的迭代执行机制
  • 任务是基于线程的，相对MapReduce基于进程的方式更高效

spark生态系统
在这里插入图片描述

运行架构

主从模式，硬件上：master-slave ，软件上：driver-executor
基本概念

  • RDD：弹性分布式数据集（Resilient Distributed Dataset）的简称，是不可变的分布式对象集合，每个RDD都被分为多个分区，这些分区运行在集群中的不同节点上。本质上是一个只读的分区记录集合
  • DAG ： 有
最低0.47元/天 解锁文章
林子雨-Spark入门教程(Python版)-学习笔记（二）
SummerHmh的博客
05-15 1927
第3章 Spark编程基础 从文件加载数据 从文件系统中加载数据创建RDD——textFile()方法，该方法把文件的URI作为参数 注意： （1）本地文件系统的路径，必须要保证在所有的worker节点上都有该文件。 （2）textFile()方法的输入参数，可以是文件名，也可以是目录，也可以是压缩文件等。比如，textFile(“/my/directory”), textFile(“/my/di...
基于Yarn的Spark完全分布式搭建
赵祎的博客
04-22 730
限于机器个数限制，本次搭建3个节点的集群，其中包含1个master节点（Hdfs namenode and yarn resourceManger）和三个（包括Master）slave节点(hdfs datanode 和Yarn nodeManger) 本次搭建，启动了keberos安全验证 版本 sottware version jdk jdk11 hadoop hadoop-3.2.2.tar.gz spark spark-3.1.1-bin-hadoop3.2.tgz
spark on yarn 完全分布式_最新Spark入门篇
weixin_39575410的博客
11-22 235
一、Spark简介1.什么是SparkApache Spark是一种快速的集群计算技术，基于Hadoop MapReduce技术，扩展了MapReduce模型，主要特性是在内存中集群计算，速度更快。即使在磁盘上进行复杂计算，Spark依然比MapReduce更加高效。另一方面，Apache Spark扩展了MapReduce模型以使用更多类型的计算。1.1 使用基于Hadoop的SparkSpar...
Maven下载安装配置详细教程
最新发布
阿木木的博客
03-21 176
6、建立本地仓库，在E:\environments\apache-maven-3.8.6中新建一个maven-repo文件夹，修改setting.xml中。5、配置阿里云镜像：E:\environments\apache-maven-3.8.6\conf\setting.xml。2、Maven解压在E:\environments\文件夹中（目录可自行指定）4、测试Maven按照是否完成 ：cmd输入mvn -version。
SQL、MySQL的区别是什么？这是我看过最好的回答
A_A_Wu的博客
09-29 586
SQL与MySQL的关系是什么？它们有什么区别？这是很多初次接触数据分析的小白会产生的疑问。今天，和大家认真分享一下： SQL（Structured Query Language）是结构化查询语言的简称，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。 此时，小白还会产生这个疑问：什么是关系数据库？ 事实上，在互联网时代，我们基本上每天都在和数据库打交道，只是我们自己没有意识到而已，譬如在百度上进行搜索、登录微博账号等，都是在使用数据库。 我们可以将数据库想象成一个文
Spark--Yarn分布式部署模式
akenseren的博客
04-07 399
Spark--Yarn分布式部署模式 Yarn分布式部署模式 1、安装 （1）集群规划 hadoop102 hadoop103 hadoop104 Spark NodeManager ResourceManager NodeManager NameNode NodeManager DataNode DataNode DataNode （2）安装 把安装包上传...
spark on yarn 完全分布式_「大数据」（七十一）Spark之架构介绍
weixin_39716160的博客
11-26 265
【导读：数据是二十一世纪的石油，蕴含巨大价值，这是·情报通·大数据技术系列第[71]篇文章，欢迎阅读和收藏】1 基本概念Spark 架构采用了分布式计算中的 Master-Slave 模型。 Master 是对应集群中的含有 Master 进程的节点， Slave 是集群中含有 Worker 进程的节点。 Master 作为整个集群的控制器，负责整个集群的正常运行； Worker 相当于计算节点，...
Spark入门(Python).pdf
03-04
【Spark入门】 Spark是大数据处理领域的一种快速、通用、可扩展的开源计算框架，它在Hadoop的基础上解决了MapReduce的一些局限性。Hadoop作为大数据处理的基石，由Google的两个创新——分布式存储（Google文件系统，...
林子雨编著《Spark编程基础(Python版)》 实验7 Spark机器学习库MLib编程实践数据
06-01
数据从美国1994年人口普查数据库抽取而来，可用来预测居民收入是否超过...该数据集类变量为年收入是否超过50k$，属性变量包含年龄、工种、学历、职业、人种等重要信息，值得一提的是，14个属性变量中有7个类别型变量。
Spark Core
wz_TXWY的博客
09-26 598
Spark CoreCreate Repository 全阶段目标 理解 Spark 的特点和作用 能够完成 Spark 的集群搭建和安装 通过入门案例理解 Spark 的编程模型 RDD 了解 RDD 的常见使用 Table of Contents 1. Spark 概述 1.1. Spark是什么...
spark on yarn 完全分布式_主题：Spark部署模式运行机制详解(源码级超详细)
weixin_39608526的博客
11-26 181
Spark支持3种集群管理器，分别为：Standalone：独立模式是park原生的集群管理器，自带完整服务Hadoop Yarn：统一的资源管理机制，在桑面运行多套框架（生产环境常用），根据 Driver 在集群中的位置不同，分为 yarn client 和 yarn cluster；Apache Mesos：一个强大的分布式资源管理框架，它允许多种不同的框架部署在其上，包括yarnYarn-C...
《Spark 编程基础》 教材讲义 厦门大学 林子雨
04-03
《Spark 编程基础 》 教材讲义 厦门大学计算机科学系 林子雨 PPT 版本号：2018 年1月
分布式计算简单示例程序
06-16
简单的分布式计算模型,可以模拟MapReduce计算模式.
spark on yarn 完全分布式_Spark概述及核心原理
weixin_39529443的博客
11-26 250
Spark运行架构1. Spark简介Client：客户端进程，负责提交作业。Driver：一个Spark作业有一个Spark Context，一个Spark Context对应一个Driver进程，作业main函数运行在Driver中，Drvier主要负责Spark作业的解析，以及通过DAGScheduler划分Stage，将Stage转化成TaskSet提交给TaskSchedule...
Spark-核心编程（一）模拟分布式计算以及RDD基础原理
clearlxj的博客
08-03 394
Spark核心编程 Spark 计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于处理不同的应用场景。三大数据结构分别是： RDD : 弹性分布式数据集 累加器：分布式共享只写变量 广播变量：分布式共享只读变量 接下来我们一起看看这三大数据结构是如何在数据处理中使用的。 模拟分布式计算 task class Task extends Serializable { val datas = List(1, 2, 3, 5) val logic: Int => In
(免费自取)厦门大学林子雨老师的spark(python)版本的pyspark链接hbase的jar包
大马猴5的博客
07-26 640
pyspark连接hbase所需的jar包
pythonspark教材_林子雨编著《Spark编程基础(Python版)》教材第3章的命令行和代码...
weixin_39714835的博客
12-05 455
林子雨、郑海山、赖永炫编著《Spark编程基础(Python版)》(教材官网)教材中的代码，在纸质教材中的印刷效果，可能会影响读者对代码的理解，为了方便读者正确理解代码或者直接拷贝代码用于上机实验，这里提供全书配套的所有代码。查看所有章节代码第3章 Spark环境搭建和使用方法sudo tar -zxf ~/下载/spark-2.4.0-bin-without-hadoop.tgz -C ...
Spark(林子雨慕课课程)
weixin_44911248的博客
10-12 1356
Spark最初由美国加州伯克利大学 ( UC Berkeley )的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序2013年Spark加入Apache孵化器项目后发展迅猛，如今己成为Apache软件基金会最重要的三大分布式计算系统开源项目之一 ( Hadoop、Spark、 Storm )运行速度快：使用DAG执行引擎以支持循环数据流与内存计算。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值