Spark源码走读

最新推荐文章于 2025-08-22 11:49:22 发布
最新推荐文章于 2025-08-22 11:49:22 发布
阅读量126 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 大数据
原文链接：https://my.oschina.net/boltwu/blog/731892
Apache Spark源码走读：如何进行代码跟读
01-06
Apache Spark源码走读之如何进行代码跟读
ApacheSpark源码走读（二）
02-26
Spark作为一个非常优秀的并行处理框架，集成了一些并行化的算法也是理所当然。Graphx是一些图的常用算法在Spark上的并行化实现，同时提供了丰富的API接口。本文就Graphx的代码架构及PageRank在Graphx中的具体实现做...
Spark源码走读6——Shuffle
weixin_30300523的博客
02-01 113
在Map和Reduce之间的过程就是Shuffle，Shuffle的性能直接影响整个Spark的性能。所以Shuffle至关重要。 Shuffle 介绍 从图中得知，Map输出的结构产生在bucket中。而bucket的数量是map*reduce的个数。这里的每一个bucket都对应一个文件。Map对bucket书是写入数据，而reduce是对bucket是抓取数据也就...
Spark运行流程源码走读
ZERO
11-10 1378
SparkContext是整个spark程序的入口，在写WordCount程序时会new SparkContext(sparkConf)构建一个SparkContext实例。在SparkContext.scala中会执行一些必要的任务，最重要的如下（在396行的try块中的521行）：  // Create and start the scheduler val (sched, ts) = Sp
Spark源码走读4——Scheduler
weixin_30902251的博客
02-01 166
用户提交的Job到DAGScheduler后，会封装成ActiveJob，同时启动JobWaiter监听作业的完成情况。同时依据job中RDD的dependency和dependency属性(NarrowDependency，ShufflerDependecy)，DAGScheduler会根据依赖关系的先后产生出不同的stage DAG(result stage, shuffle map ...
Spark源码走读（二） —— Job的提交
cj7749910的专栏
10-20 453
import org.apache.spark.{SparkConf, SparkContext}object SparkWordCount{ def main(args: Array[String]) { if (args.length == 0) { System.exit(1) } val conf = new SparkConf().setAppName
Spark源码走读1——RDD
sdujava2011
12-15 773
RDD全称Resilient Distributed DataSets，弹性的分布式数据集。是Spark的核心内容。 RDD是只读的，不可变的数据集，也拥有很好的容错机制。他有5个主要特性    -A list of partitions 分片列表，数据能为切分才好做并行计算    -A function for computing each split 一个函数计算一个分片
Apache_Spark源码走读
11-12
本文旨在通过对Apache Spark源码的初步解读，帮助读者建立起对Spark核心概念和技术细节的理解。 #### 二、基本概念 ##### 1. RDD（Resilient Distributed Dataset） - **定义**：弹性分布式数据集（Resilient ...
spark源码走读（2）
卧龙居
01-22 672
sc = SparkContext(master,appName) 主要是在SparkContext类中，会按照传递的参数；初始化SparkConf对象 val arr = Array(1,2,3,4,5) val arr1 = sc.parallelize(arr) 进入SparkContext的parallelize方法： def parallelize[T: ClassTag](s
spark源码走读环境搭建
饮马天涯
09-06 561
准备： 1.ubuntu操作系统 2.百度一下 IDEA， 到官网下载IDEA安装包  下载完成解压到指定目录下如： tar -zxvf xxx,xxx -C /opt/idea 运行/optt/idea/xxx/bin/idea.sh如： sh idea.sh 这个过程中可以选择安装 scala sbt 3.sbt update gen-i
分享|财务大数据实验室建设方案
tipdm0301的博客
08-20 1079
基于财务大数据实验室现状，高校亟需加强与大数据企业的联合与协作，全方面落实，从思想、教学、实训应用等方案，突出校企双方优势，共同培养出具有大数据背景的财务专业人才
Flink原理与实践：第一章大数据技术概述总结
AlgoCraft
08-19 895
本文介绍了大数据技术的基础概念与Flink流处理框架的核心原理。首先阐述了大数据的5V特征（Volume、Velocity、Variety、Veracity、Value），然后对比了批处理与流处理的差异，突出了流处理在实时性方面的优势。文章梳理了三代流处理技术演进，重点分析Flink作为新一代框架的特点（低延迟、状态计算、Exactly-Once）。同时介绍了Lambda和Kappa两种架构模式，并讲解了流处理核心概念（窗口、时间语义、Watermark等）。最后通过Kafka实例演示了数据管道的构建过程，
windows环境，安装kafka
weixin_42930616的博客
08-19 378
在 Kafka 的 KRaft 模式下，集群 ID 是用来唯一标识 Kafka 集群的一个 UUID。使用 Kafka 提供的 kafka-storage.sh (Linux/Mac) 或 kafka-storage.bat (Windows) 脚本可以自动生成并格式化存储目录，同时也会生成一个集群 ID。解压 Kafka：将下载的 Kafka 压缩包解压到一个目录，比如 C:\kafka_2.xx.x。listeners: 定义监听地址，例如 PLAINTEXT://localhost:9092。
数据湖学习
sun657053178的博客
08-20 1002
精通数据湖 = 架构原理 + 格式机制 + 引擎集成 + 元数据管理 + 实战经验。
Hadoop入门
qq_72758246的博客
08-17 748
Hadoop是什么Hadoop是Apache基金会开发的一套开源软件平台。它的功能是利用服务器集群对海量数据进行分布式处理。核心组件包括HDFS、MapReduce、YARN和Hadoop基础功能库。Hadoop生态系统广义上的Hadoop指的是一个更广泛的概念，即Hadoop生态圈。Hadoop是云计算PaaS层的解决方案之一，广泛应用于数据服务基础平台建设、用户画像、网站点击流日志数据挖掘等。创建数据库查看数据库信息删除数据库-- 强制删除数据库。
高级SQL优化 | 告别 Hive 中 GROUP BY 的大 KEY 数据倾斜！PawSQL 自适应优化算法详解
最新发布
PawSQL的博客
08-22 494
摘要：PawSQL的GroupSkewedOptimization算法通过两阶段聚合解决Hive数据倾斜问题。该算法对热点数据先加盐分流（随机分成256组），再合并聚合，有效避免单Reducer处理大分组导致的性能瓶颈。支持COUNT/SUM/AVG等标准聚合函数的智能重写，如将AVG拆解为SUM/COUNT计算。适用于电商、金融等存在严重数据倾斜的分组统计场景，自动优化无需人工干预，显著提升查询效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值