Spark大数据开发与应用案例
关注
分享
扫一扫
文章平均质量分 96
本专栏已spark3.5为基础讲解，本书配套示例源码、PPT课件、教学视频与作者答疑服务，每周更新一部分，敬请期待…
辉哥大数据
余辉，硕士毕业于中科院，从事IT行业12年。专注于大数据、云数据、用户画像、推荐算法。在数据团队担任过的角色：研发、架构师、负责人、讲师。数据知识产权：出版大数据书籍【1】本，论文【2】篇，软著【6】篇，专利【65】篇。
展开
-
Spark大数据开发与应用案例(视频教学版)（十二）--第七章
闭包是一个函数，这个函数能够访问和操作在其定义时捕获的外部变量的值。在Spark中，当你将一个函数作为参数传递给Spark的操作（如map、filter等）时，Spark会捕获这个函数及其所依赖的所有外部变量，并形成一个闭包。这个闭包随后会被序列化，并发送到集群中的工作节点上执行。原创 2025-05-30 16:16:51 · 688 阅读 · 0 评论 -
Spark大数据开发与应用案例(视频教学版)（十一）--第六章
Spark大数据开发与应用案例(视频教学版)原创 2025-04-15 16:32:14 · 760 阅读 · 0 评论 -
Spark大数据开发与应用案例(视频教学版)（十）--第五章
本章将全面解析RDD的Shuffle机制，从Shuffle的概念与历史演进出发，深入探讨其验证及复用性。随后，我们将详细剖析HashShuffleManager与SortShuffleManager的工作原理及其优化策略，为读者揭示Spark分布式计算的核心奥秘。原创 2025-03-24 15:13:07 · 661 阅读 · 0 评论 -
Spark大数据开发与应用案例(视频教学版)（九）--第四章下
本章深入探索Spark的核心抽象——RDD（Resilient Distributed Dataset，弹性分布式数据集）。从RDD的基本概念出发，逐步解析其血缘关系、依赖类型及多种算子（包括Transformation、Action及特殊算子）。同时，通过模拟自定义RDD与任务执行原理图解，让读者掌握Spark的实战技巧。原创 2025-03-14 16:18:59 · 773 阅读 · 0 评论 -
Spark大数据开发与应用案例(视频教学版)（八）--第四章上
本章深入探索Spark的核心抽象——RDD（弹性分布式数据集）。从RDD的基本概念出发，逐步解析其血缘关系、依赖类型及多种算子（包括Transformation、Action及特殊算子）。同时，通过模拟自定义RDD与任务执行原理图解，让读者掌握Spark的实战技巧。原创 2025-02-22 20:46:43 · 937 阅读 · 0 评论 -
Spark大数据开发与应用案例(视频教学版)（七）--第三章下
本章将引领您探索Scala基础编程，随后指导您如何在Spark中创建项目，并深入编写Spark程序。通过一系列学习，您将掌握大数据处理的关键技能。最后，本章小结将帮助您巩固所学，为后续学习打下坚实基础。本章主要知识点：Scala基础编程Spark创建项目Spark程序编写原创 2025-01-31 10:07:54 · 1010 阅读 · 0 评论 -
Spark大数据开发与应用案例(视频教学版)（六）--第三章上
本章将引领您探索Scala基础编程，随后指导您如何在Spark中创建项目，并深入编写Spark程序。通过一系列学习，您将掌握大数据处理的关键技能。最后，本章小结将帮助您巩固所学，为后续学习打下坚实基础。原创 2025-01-16 13:58:45 · 1066 阅读 · 0 评论 -
Spark大数据开发与应用案例(视频教学版)（五）--第二章下
本章将讲解Spark的概念及其特点、运行模式、执行流程以及一些常用的专有名词，帮助读者对Spark形成一个大致的印象，为后续的学习打下基础。原创 2025-01-11 21:20:19 · 788 阅读 · 0 评论 -
Spark大数据开发与应用案例(视频教学版)（四）--第二章上
本章主要知识点：1)VM虚拟机安装2)Ubuntu 22.04系统安装3)Ubuntu 22.04网络配置4)Ubuntu 22.04环境配置5)zookeeper 安装6)Hadoop 安装7)Spark安装8)集群和代码下载原创 2025-01-04 11:38:59 · 1441 阅读 · 0 评论 -
Spark大数据开发与应用案例(视频教学版)（三）--第一章下
本章主要知识点：1)Spark概念及其特点2)Spark技术生态系统3)Spark运行模式4)Spark执行流程5)Spark专有名词原创 2025-01-01 11:04:26 · 1288 阅读 · 0 评论 -
Spark大数据开发与应用案例(视频教学版)（二）--第一章上
1）Spark概念及其特点2）Spark技术生态系统3）Spark运行模式4）Spark执行流程5）Spark专有名词原创 2024-12-29 21:53:12 · 1126 阅读 · 0 评论 -
Spark大数据开发与应用案例(视频教学版)（一）--文前
Spark大数据开发与应用案例(视频教学版)（一）--文前原创 2024-12-26 22:51:24 · 1113 阅读 · 1 评论