大数据学习（09）--spark学习

最新推荐文章于 2022-07-01 16:23:50 发布

Zero-One-0101

最新推荐文章于 2022-07-01 16:23:50 发布

阅读量495

点赞数 1

CC 4.0 BY-SA版权

分类专栏： ML&DL-大数据学习文章标签：大数据 spark

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/wangzi11111111/article/details/89175287

ML&DL-大数据学习专栏收录该内容

16 篇文章

订阅专栏

本文深入探讨了Spark作为大数据处理平台的优势，包括其快速的数据处理能力、与Hadoop的对比，以及Spark生态系统的构成。文章详细讲解了Spark的运行框架、RDD运行原理，并介绍了SparkSQL的使用。此外，还提供了Spark的部署方式、从Hadoop+Storm转向Spark的策略，以及Spark编程实践指导。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

目录

1.spark介绍

1.1 spark介绍

在这里插入图片描述

spark不仅仅是一个计算框架，而是一个大数据处理的平台，或者说生态。

1.2 scale介绍

在这里插入图片描述

1.3 spark和Hadoop比较

在这里插入图片描述

spark将运行的中间结果写入内存，而不是如MapReduce那样每次都写入磁盘，所以速度非常快，那么肯定就有疑问，内存相比于磁盘来说，那么小，如何解决大数据的中间结果的存储，spark是采用优先写内存，内存写满后，才往磁盘中写入。

2.spark生态系统

在这里插入图片描述

3.spark运行框架

3.1 基本概念

在这里插入图片描述

3.2 架构的设计

在这里插入图片描述

3.3 spark运行基本流程

在这里插入图片描述

3.4 spark运行原理

在这里插入图片描述

3.5 RDD运行原理

3.5.1 设计背景

在这里插入图片描述

3.5.2 RDD概念和特性

在这里插入图片描述

3.5.3 RDD之间的依赖关系

在这里插入图片描述

3.5.4 stage的划分

在这里插入图片描述

3.5.5 RDD的运行过程

在这里插入图片描述

4.spark SQL

4.1 shark的介绍

在这里插入图片描述

4.2 spark SQL的介绍

在这里插入图片描述

5.spark的部署和运行

5.1 三种部署方式

在这里插入图片描述

5.2 从Hadoop+Strom 架构转向spark架构

在这里插入图片描述

5.3 Hadoop 和spark的统一部署

在这里插入图片描述

6.spark编程实践

6.1 spark安装

在这里插入图片描述

6.2 启动spark shell

在这里插入图片描述

6.3 spark RDD的操作

在这里插入图片描述

6.4 spark应用程序

在这里插入图片描述

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。