Spark知识系统化整理分享

最新推荐文章于 2025-12-02 15:32:17 发布

转载最新推荐文章于 2025-12-02 15:32:17 发布 · 631 阅读

文章标签：

#spark #大数据

Spark 专栏收录该内容

11 篇文章

订阅专栏

本文推荐一篇关于Apache Spark历史和现状的文章，适合Spark初学者阅读。文章系统地介绍了Spark的知识体系，帮助读者从宏观角度理解Spark。

在学习和使用Spark的过程中，发现了这篇文章。感觉真不错，便于我们从宏观上了解Apache Spark的历史和现状。

为尊重原文作者，本文仅转载连接如下，建议Spark初学者必读：

http://www.36dsj.com/archives/18204 (《为大数据处理点亮一盏明灯 Spark知识系统化整理分享》）

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

jsky_studio

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

基于Spark在大数据领域实现数据可视化

架构师的AI之路，分享AI应用开发架构的学习与实践。

08-29

1127

在当今数字化时代，大数据的规模呈爆炸式增长。从互联网用户的行为数据到企业的运营数据，海量的数据蕴含着巨大的商业价值和科研价值。然而，这些数据往往以原始、复杂的形式存在，难以直接理解和分析。数据可视化作为一种将数据以直观图形、图表等形式呈现的技术，能够帮助用户快速洞察数据中的规律、趋势和关系。Spark作为一个快速、通用的集群计算系统，具有高效的分布式数据处理能力，能够处理大规模数据集。本文章的目的在于探讨如何利用Spark强大的数据处理能力，结合数据可视化技术，实现大数据的有效展示和分析。

基于Spark3的个性化推荐系统——理论知识

程研板的博客

12-30

920

参与评论您还未登录，请先登录后发表或查看评论

基于电影知识图谱的智能问答系统（三） -- Spark环境搭建

热门推荐

Appleyk的专栏

05-16

4万+

由于该项目后期会涉及到spark的朴素贝叶斯分类器，而该分类器可以通过训练问题集合进行问题模板概率匹配，因此，系统中是否搭建了spark环境对项目是否能run起来至关重要。一、工具包及环境搭建简易说明由于工具包比较大，涉及scala语言安装包、hadoop安装包以及spark-hadoop安装包，故只提供百度网盘的下载链接下载地址：https://pan.baidu.com/s/10XUKpYBX...

大数据—— Spark Core 知识点整理

Vicky_Tang

09-14

1396

1. Spark 和 Hadoop 相比有什么优势运行速度快： Spark拥有DAG执行引擎，支持在内存中对数据进行迭代计算。官方提供的数据表明，如果数据由磁盘读取，速度是Hadoop MapReduce的10倍以上，如果数据从内存中读取，速度可以高达100多倍。适用场景广泛： 大数据分析统计，实时数据处理，图计算及机器学习易用性：编写简单，支持80种以上的高级算子，支持多种语言，数据源丰富，可部署在多种集群中容错性高： ...

Spark知识点总结大全

weixin_70137450的博客

09-17

2257

aggregateByKey:在kv对的RDD中，按key将value进行分组合并，合并时，将每个value和初始值作为seq函数的参数，进行计算，返回的结果作为一个新的kv对，然后再将结果按照key进行合并，最后将每个分组的value传递给combine函数进行计算（先将前两个value进行计算，将返回结果和下一个value传给combine函数，以此类推），将key与计算结果作为一个新的kv对输出。一个函数一次处理所有分区。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。

Hadoop 和 Spark 知识点整理汇总

weixin_45517168的博客

12-14

8091

2020年9月至11月，我通过一本理论书简单地学习了 Hadoop 和 Spark 的基本知识，大体上了解了 Hadoop 和 Spark 的一些底层工作机制、基本原理和实用工具等。之后，我又根据另一本实践书学习了 Hadoop 和 Spark 中像是伪分布式环境搭建、集群部署等实践性内容，跑了几个 demo。但是，随着转而去学其他的知识，关于 Hadoop 和 Spark 的相关内容逐渐被我遗忘。因此，为了避免这两部分内容被我彻底抛弃，同时为了将来找工作时能够回忆起相关知识点，我打算用这篇博客来记录我

Spark整理

weixin_50405727的博客

03-04

2059

文章目录1. 概述1.1. Spark 和 Hadoop 组成1.2. Spark 和 Hadoop 区别2. Spark 运行架构2.1. 基础架构2.2. Master & Worker(Standalone模式)2.3. ApplicationMaster3. Spark 编程3.1. 数据结构3.2. RDD算子类型3.2.1. RDD转换算子3.2.2. RDD行动算子3.2.3. RDD控制算子3.3. RDD作业的划分3.4. Job的调度模式3.5. RDD阶段划分3.6. RDD依

Spark Streaming知识点总结

serendipity

09-07

697

一、Spark Streaming概述 1.1 Spark Streaming是什么？ Spark Streaming用于流式数据的处理。Spark Streaming支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的 TCP套接字等等。数据输入后可以用 Spark 的高度抽象原语如：map、reduce、join、window等进行运算。而结果也能保存在很多地方，如HDFS，数据库等。和Spark基于RDD的概念很相似，Spark Streaming使用离散化流(

【2022持续更新】大数据最全知识点整理-Spark篇

欢迎来到李奇峰的数据世界

11-18

1679

大数据最全面试题整理-Spark篇导语基础问题：导语本专栏博文会整理日常工作与面试中最常用到的大数据相关组件与Java语言的架构、概念、知识点，方便大家进行查阅。涉及到的面试题以及答案均为博主搜罗整理，并加上自己的理解编写而成。同时博主会在部分题目的下方添加管遇此题深入理解的博文连接，方便读者的深入理解。希望大家可以通过此篇博文对于大数据相关概念有一个更深入的理解还有哪些想看的面试题，读者可以在评论区补充，博主会在一天内进行更新！！！最后预祝大家新的一年升职加薪，工资涨涨涨！基础问题：

Spark-Core学习知识笔记整理

03-01

Spark-Core文档是本人经三年总结笔记汇总而来，对于自我学习Spark核心基础知识非常方便，资料中例举完善，内容丰富。具体目录如下：目录第一章 Spark简介与计算模型 3 1 What is Spark 3 2 Spark简介 3 3 Spark...

基于Spark底盘的C++驱动程序与开发资料整理

02-27

通过这份丰富的学习资料集，开发者能够系统地学习和掌握Spark底盘相关的软件开发知识。无论是进行底层驱动开发，还是进行上层应用编程，这里都有相应的资源供开发者挖掘和利用。更重要的是，这份资料集还提供了实用...

Spark知识点整理

da_kao_la的博客

07-01

644

Spark知识点整理版本：Spark-2.1.1 Spark架构 Spark架构主要包含如下角色： Driver: 主计算进程，Spark job的驱动器 Executor: 执行器，Worker上的计算进程 Cluster Master: 主节点，在standalone模式中为主节点，控制整个集群，监控Worker. 在Yarn模式中充当资源管理器(Resource Manager) Worker: 从节点，负责控制计算节点，启动Executor或Driver Driver Spark的驱动器是执行

Hive On Spark 统计信息收集深度解析

mn_kw的博客

12-02

242

Spark SQL统计信息收集深度解析统计信息是Spark SQL优化查询性能的核心元数据，包括表级(行数、大小)、列级(基数、空值、极值)和分区统计。收集方法分为全量(ANALYZE TABLE)和增量(针对分区)，建议优先收集JOIN列和过滤列。统计信息通过CBO优化执行计划，可提升性能2-10倍，但需权衡收集开销(数据扫描+计算+元数据写入)。最佳实践包括：分区表增量收集、关键列优先收集、定期更新策略。合理使用统计信息可显著优化JOIN顺序、过滤估算和资源分配。

Spark SQL CBO（基于成本的优化器）参数深度解析

mn_kw的博客

12-02

481

Spark SQL CBO（基于成本的优化器）深度解析了其核心概念、工作流程及关键参数配置。CBO通过收集统计信息（行数、列统计等）计算不同执行计划的成本，选择最优方案，相比规则优化器能显著提升性能（可达5-10倍）。重点参数包括：总开关spark.sql.cbo.enabled、JOIN重排序spark.sql.cbo.joinReorder.enabled及其阈值控制spark.sql.cbo.joinReorder.dp.threshold。特别针对星型模式优化，分析了事实表与维度表的JOIN特点。C

深入理解数据仓库设计：事实表与事实宽表的区别与应用

home_liang的博客

11-29

1087

在数据仓库（Data Warehouse）设计中，事实表（Fact Table）和事实宽表（Wide Fact Table）是两种常见的存储度量数据的表格。它们在结构、查询效率、存储方式等方面有所不同，选择合适的设计模式对于提高查询性能、减少存储开销以及满足业务需求至关重要。本文将详细介绍事实表与事实宽表的定义、区别及应用场景，并通过实际的 SQL 示例帮助您更好地理解这两种设计模式。

Spark Shuffle 深度解析与参数详解

最新发布

mn_kw的博客

12-02

477

Spark Shuffle 是分布式计算中数据重分布的关键环节，本文深度解析了其核心原理与优化策略。主要内容包括：1) Shuffle 的两种实现方式（Hash Shuffle 和 Sort Shuffle）及演进历程；2) 完整的 Shuffle 生命周期，包含 Write 和 Read 两阶段；3) 三种写入模式（Bypass/Sort/Unsafe）的适用场景；4) 内存管理机制与文件生成过程；5) 数据拉取优化策略，包括连接复用、重试机制和直接内存缓冲区。文章还提供了详细的参数配置指南和性能优化建议

AI-RAN 在 Spark上部署 Sionna-RK

凡森

11-29

207

然而，对于许多研究人员，尤其是那些缺乏 Linux 或 Docker 经验的用户来说，在 Spark 上部署和构建 sionna-rk 可能颇具挑战性。为了帮助社区，我编写了一份简单实用的指南，详细介绍了在 DGX Spark 上构建和运行 sionna-rk 的完整过程。本文档旨在降低入门门槛，让更多用户在官方支持发布之前就能体验到 Spark 的强大性能。它的性能远高于 Jetson Orin，使其成为 AI-RAN 和实时 PHY 研究的理想平台。

spark standalone模式HA部署，任务失败重提测试

weixin_62206215的博客

12-01

435

Standalone集群中Worker汇报资源、提交应用程序、Driver申请资源时都需要与Master进行通信，如果Standalone集群中只有一个Master，当Master挂掉后就会影响以上通信，所以在Standalone集群中配置Master HA就有必要。

【Spark+Hive】基于Spark大数据旅游景点数据分析可视化推荐系统（完整系统源码+数据库+开发笔记+详细部署教程+虚拟机分布式启动教程）✅

qq_64605578的博客

12-02

596

本项目在构建一套基于 Spark+Hive 的旅游景点数据分析可视化推荐系统，解决传统旅游推荐与数据分析存在的核心问题。

hadoop 和 spark 知识点整理汇总

03-16

Hadoop和Spark是大数据处理领域中最流行的两个框架。以下是它们的知识点整理汇总： Hadoop： 1. Hadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。 2. Hadoop包括两个核心组件：HDFS（Hadoop分布式文件系统）和MapReduce（分布式计算框架）。 3. HDFS是一个分布式文件系统，用于存储大规模数据集。它将数据分成块并存储在不同的节点上，以实现数据的高可靠性和可扩展性。 4. MapReduce是一种分布式计算框架，用于处理大规模数据集。它将数据分成小块并在不同的节点上并行处理，以实现高效的数据处理。 5. Hadoop还包括其他组件，如YARN（资源管理器）和HBase（分布式NoSQL数据库）。 Spark： 1. Spark是一个快速、通用、可扩展的分布式计算框架，用于处理大规模数据集。 2. Spark的核心组件是Spark Core，它提供了分布式任务调度、内存计算和数据处理功能。 3. Spark还包括其他组件，如Spark SQL（用于结构化数据处理）、Spark Streaming（用于实时数据处理）和MLlib（用于机器学习）。 4. Spark使用RDD（弹性分布式数据集）作为其基本数据结构，它是一个可分区、可并行计算和可恢复的数据集合。 5. Spark支持多种编程语言，如Scala、Java、Python和R。总结： Hadoop和Spark都是用于处理大规模数据集的分布式计算框架，它们有不同的核心组件和特点。Hadoop主要用于存储和处理大规模数据集，而Spark则更加注重数据处理的速度和效率。在实际应用中，可以根据具体需求选择合适的框架。