Spark 零件

最新推荐文章于 2025-08-15 23:15:02 发布

zhixingheyi_tian

最新推荐文章于 2025-08-15 23:15:02 发布

阅读量208

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 大数据 spark源码分析

本文链接：https://blog.youkuaiyun.com/zhixingheyi_tian/article/details/85065732

spark 同时被 3 个专栏收录

172 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

大数据

92 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

spark源码分析

19 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

SparkEnv

SparkEnv 是spark的执行环境对象，存在driver 或 executor 进程中。

BlockManager

Driver Application 和 Executor 都会创建 BlockManager .

Manager running on every node (driver and executors) which provides interfaces for putting and retrieving blocks both locally and remotely into various stores (memory, disk, and off-heap).

BlockManagerMaster

BlockManagerMaster 是在SparkEnv中创建

如果当前应用程序是Driver，则创建BlockManagerMasterEndpoint，并且注册到RpcEnv中；
如果当前应用程序是Executor，则从RpcEnv中找到BlockManagerMasterEndpoint的引用。

// SparkEnv.scala

val blockManagerMaster = new BlockManagerMaster(registerOrLookupEndpoint(
      BlockManagerMaster.DRIVER_ENDPOINT_NAME,

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

zhixingheyi_tian

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

Ray vs Spark 全面对比分析

AI天才研究院

04-14

326

Ray和Spark是两个强大但设计理念不同的分布式计算框架。Ray专注于AI和高性能计算，提供细粒度的任务并行和Actor模型，特别适合复杂的计算密集型工作负载。而Spark则是一个成熟的大数据处理平台，通过RDD提供高效的数据处理能力，特别适合ETL和数据分析任务。在实际应用中，这两个框架并不是互斥的，而是可以互补使用：Spark可以处理大规模数据预处理，而Ray可以接管后续的复杂AI训练和模型服务。选择哪个框架应该基于具体的业务需求、团队技术栈和性能要求来决定。

spark 写 ElasticSearch 提升性能解决方案

zhixingheyi_tian的博客

08-30

6638

ES 官网提供了一套Spark写ES接口参见： https://www.elastic.co/guide/en/elasticsearch/hadoop/current/spark.html在工作实践中使用 Spark Streaming 写 ES 发现性能太差了，经研究发现，这套接口基于es底层http的restful接口而实现，我另辟蹊径，采用TCP通信方式，写ES，性能获得了极大提

参与评论您还未登录，请先登录后发表或查看评论

Spark MLlib Pipeline

2401_84052244的博客

08-02

3444

简单地说，Pipeline 是一套基于 DataFrame 的高阶开发 API，它让开发者以一种高效的方式，来打造端到端的机器学习流水线。这么说可能比较抽象，我们不妨先来看看，Pipeline 都有哪些核心组件，它们又提供了哪些功能。Pipeline 的核心组件有两类，一类是 Transformer，我们不妨把它称作“转换器”，另一类是 Estimator，我把它叫作“模型生成器”。

Spark版本更新之1.4,1.5梳理及感言

威少（微笑）

06-08

796

引言：更新之于替换了发动机的零件，车一样开 :> 一：Spark 1.4.x的新特性 1、Spark Core 1.1 提供REST API供外界开发者获取Spark内部的各种信息（jobs / stages / tasks / storage info），基于这些API，可以搭建自己的Spark监控系统。 1.2 shuffle阶段，默认将map端写入磁盘的数据进行序列化...

Spark和Hadoop优劣

大数据开发

08-24

3517

Spark已经取代Hadoop成为最活跃的开源大数据项目。但是，在选择大数据框架时，企业不能因此就厚此薄彼。近日，著名大数据专家Bernard Marr在一篇文章(http://www.forbes.com/sites/bernardmarr/2015/06/22/spark-or-hadoop-which-is-the-best-big-data-framework/)中分析了Spark和Had...

Spark03-RDD01-简介+常用的Transformation算子

最新发布

qq_31532983的博客

08-15

696

RDD介绍、常见的transformation算子

[源码] Spark如何划分Stage

Alian_W的博客

11-14

2636

[源码] Spark如何划分Stage 文章目录[源码] Spark如何划分Stage大家好，我是一拳就能打爆你A柱的猛男1、Stage的介绍1.1 Stage是什么概念以及Stage的划分1.3 Stage的意义2、从SparkPi定位Stage划分代码3、Spark划分Stage代码解读4、总结大家好，我是一拳就能打爆你A柱的猛男太久不写博客了，今天写的博客可能有点生疏，各位将就看一下。不知道有没有人跟我一样好奇Spark如何划分Stage的，今天翻一下源码给大家看看。 1、Stage的介绍这部分

零件名词解释_最珍贵的机械英语及名词解释大全

weixin_31588005的博客

12-14

3990

点机械前沿”关注置顶引领机械前沿、机械视频，汽车、加工技术、3D打印、自动化、机器人、生产工艺、轴承、模具、机床、钣金等行业前沿在这里等你工艺基本概念1.1 一般概念1.1.1数控加工：numerical control machining根据被加工零件图样和工艺要求，编制成以数码表示的程序输入到机床的数控装置或控制计算机中，以控制...

Apache Spark体系结构– Spark集群体系结构介绍

大强博客

02-02

1889

Apache Spark是一个开放源代码群集计算框架，正在点燃大数据世界。根据Spark认证专家的说法，与Hadoop相比，Sparks的性能在内存上快100倍，在磁盘上快10倍。在此博客中，我将为您简要介绍Spark架构以及Spark架构的基础知识。在这篇Spark Architecture文章中，我将介绍以下主题： Spark及其功能 Spark架构概述星火生态系统弹性分布式...

Spark入门篇------Spark的路径配置（macOS）

life_stranded的博客

04-11

2776

我觉得这个macos的路径配置还是很有必要在赘述一下的！！！网上的很多的spark环境配置在配置路径都是直接去修改ect/profile，其实这样是很危险的，本博主亲测，不小心删了一行，结果导致命令行出现了问题，不得不重装系统。首先我们先了解一下Mac系统的环境变量，加载顺序为： /etc/profile /etc/paths ~/.bash_profile ~/.ba...

SparkCore-Photon-Fritzing, Spark核心零件和示例的Fritzing库.zip

09-18

SparkCore-Photon-Fritzing, Spark核心零件和示例的Fritzing库用于Spark核和光子的 FritzingSpark核和光子的部件和示例的Fritzing库。由 Technobly ( http://technobly.com ) 为Spark核和光子创建。安装Fritzing...

SIMD 介绍

zhixingheyi_tian的博客

10-18

5379

AVX指令集是Sandy Bridge和Larrabee架构下的新指令集。AVX是在之前的128bit扩展到和256bit的SIMD(Single Instruction, Multiple Data)。而Sandy Bridge的SIMD演算单元扩展到256bits的同时数据传输也获得了提升，所以从理论上看CPU内核浮点运算性能提升到了2倍。 Intel AVX指令集，在SIMD计算性能增强的同时也沿用了的MMX/SSE指令集。不过和MMX/SSE的不同点在于增强的AVX指令，从指令的格式上就发生了很大.

Elasticsearch 6.3 字段类型变化，重建索引的方案

zhixingheyi_tian的博客

07-13

5202

业务组现在有个需求是，某个字段类型是 “keyword”，现在要改为“text”类型。可以直接采用reindex 方案，不需要Client 端重写数据。样例如下定义一个 twitter1 索引 mapping PUT twitter1 { "mappings" : { "type1" : { "properties" : { ...

ES 6.3 SQL 使用方法

zhixingheyi_tian的博客

07-17

4408

ES 6.3 支持了 SQL 功能，但是这个是试验性的，未来可能面临被取消。 This functionality is experimental and may be changed or removed completely in a future release. 通过 restful 使用 SQL 放入测试数据 PUT /library/book2/_bulk?refr...

在influxdb上使用HOLT_WINTERS 对数据流量趋势进行预测和预警

zhixingheyi_tian的博客

03-06

4159

需求：针对数据流量异常进行预警，常规的阈值、心跳很难满足要求。因此有必要对未来测量数据进行预测和拟合分析。目前，influxdb 、kapacitor 自带的唯一的预测分析方法是holt_winters(三次指数平滑法，)，能预测出季节性特点，正好满足需求。经过研究，使用两个tick脚本，可实现流量异常预警。第一tick脚本，使用influxdb内置HOLT_WINTERS预测函数，提前

hadoop 2.6 源码解读之FileSystem.get(conf)实现

zhixingheyi_tian的博客

05-13

3939

hdfs 常见的获取文件系统代码，如下 Configuration conf = new Configuration(); FileSystem fs; fs = FileSystem.get(conf); fs 最终指向的是FileSystem哪个子类呢，过程是怎么样的，逐步跳进代码一看 public static FileSystem ...

maven 中，使用shadedClassifierName配置项，解决jar自带版本号的问题

zhixingheyi_tian的博客

11-06

3579

增加以下两行配置 &lt;shadedArtifactAttached&gt;true&lt;/shadedArtifactAttached&gt; &lt;shadedClassifierName&gt;with-spark-${spark.internal.version}&lt;/shadedClassifierName&gt; 就可以使得编译的jar

spark 读写 parquet

zhixingheyi_tian的博客

12-10

3232

SQLConf // This is used to set the default data source val DEFAULT_DATA_SOURCE_NAME = buildConf("spark.sql.sources.default") .doc("The default data source to use in input/output.") .stringCo...

Spark 各种配置项

zhixingheyi_tian的博客

11-07

2448

/bin/spark-shell --master yarn --deploy-mode client /bin/spark-shell --master yarn --deploy-mode cluster There are two deploy modes that can be used to launch Spark applications on YARN. In cluster m...