【Spark四十一】Spark自问自答

最新推荐文章于 2025-11-27 15:46:47 发布
原创 最新推荐文章于 2025-11-27 15:46:47 发布 · 117 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

本文探讨了ExecutorRunner中fetchAndRunExecutor方法启动的进程特性。该方法在并发编程中扮演重要角色，通过深入分析其工作原理，帮助读者理解如何更有效地管理和调度任务。

1. ExecutorRunner的fetchAndRunExecutor方法启动了一个进程，请问这是什么进程

2.

Spark(40) -- SparkStreaming -- UpdateStateByKey实现批次数据统计结果累加
erainm
10-12 506
1. 问题 解决每个批次的单词次数统计出来后结果累加问题，使用updateStateByKey(func)来更新状态. 2. 代码演示 3. 执行步骤
数据湖（十四）：Spark与Iceberg整合查询操作
Lansonli（蓝深李）的博客
07-05 2022
文章目录Spark与Iceberg整合查询操作一、DataFrame API加载Iceberg中的数据二、查询表快照三、查询表历史 四、​​​​​​​​​​​​​​查询表data files五、​​​​​​​​​​​​​​查询Manifests六、​​​​​​​​​​​​​​查询指定快照数据七、根据时间戳查询数据八、​​​​​​​​​​​​​​回滚快照九、​​​​​​​​​​​​​​合并Iceberg表的数据文件十、删除历史快照Spark操作Iceberg不仅可以使用SQL方式查询Iceberg中的数据，还
spark 大型项目实战(四十一):算子调优之使用repartition解决Spark SQL低并行度的性能问题
u012957549的博客
06-24 7985
并行度：之前说过，并行度是自己可以调节，或者说是设置的。 1、spark.default.parallelism 2、textFile()，传入第二个参数，指定partition数量（比较少用） 咱们的项目代码中，没有设置并行度，实际上，在生产环境中，是最好自己设置一下的。官网有推荐的设置方式，你的spark-submit脚本中，会指定你的application总共要启动多少个executo...
spark 机制原理自问自答
简单就好
11-26 3882
本文主要收录spark学习和工作中思考的问题。1、当Spark task failed，什么情况下task重计算，什么情况下stage重计算？答：如果task失败是因为shuffle output files lost，则DAGScheduler会对stage重提交计算；如果不是因为shuffle file lost，则选择resubmit task。这是因为shuffle output file
深入理解Spark SQL原理
yians的专栏
02-28 3781
1、前言   本文是对自己阅读Spark SQL源码过程的一个记录，主线是对尚硅谷Spark SQL最后练习中建立的表的一个简单SQL编写的源码实现流程的跟读。通过自问自答的方式，学习完了整个Spark SQL的执行过程。   Spark SQL最终是通过Spark Core的RDD进行计算。所以在阅读Spark SQL源码之前，一定要深刻掌握Spark Core原理，而主线就是如何生成与Spark Core里同样类型的RDD，进一步如何转换为Job。   本文从物理计划开始，描述各个结点的实际转换过程，如
SparkUI超详细解释（1）——Jobs
2301_77818583的博客
04-26 1575
当遇到action算子时就会划分出一个新的job，action算子常见的有reduce、collect、count等，作者并没有找到和sql关键字的对应关系，笼统的说需要落盘存储的一般都是action算子。该时间不是所有job的执行时间之和（有并行的job，job与job之间也有时间间隔），也不是最后一个job的结束时间。可以，常见的如多个表join，每读一个表可能是一个job，多个表就是多个job，可以并行执行（前提是资源足够）job的划分没有太多的意义，可以不必关注，关注stage的划分更有意义。
SparkUI超详细解释（6）——SQL
2301_77818583的博客
04-28 2236
DAG图，以图形的形式展示了整个作业的执行过程，每个色块代表了一种算子，WholeStageCodeGen是用动态代码生成的方式把几个算子转换成java函数，提升计算效率。在spark2.x可以通过coordinatorid来关联，spark3可以勾选stageid，也可用用过WholeStageCodeGen后面的数字来关联。sql页面的列表页罗列了提交到spark的所有sql，所有设置的参数，以及所有的创建临时函数的语句。1.如何从stage的DAG图关联到SQL的DAG图。有关SQL页面的自问自答。
SparkUI超详细解释（4）——Environment
2301_77818583的博客
04-27 445
的参数设置，可以在该页面查看（某些参数是xt默认提交，有些是集群默认设置，有些是spark hbo的自动调整等，都会和xt模板里人工设置的参数有所不同）。”，比如参数的“=”两边有空格，都会造成设置的参数不生效），所以当实际执行结果和预期不符时在这个页面check下是有必要的。有些特殊情况要注意，比如下图在设置spark.sql.shuffle.partitions参数时不小心少打一个s变成了一个错误的不存在的参数，在Environment页面依然能够看到这个参数，但实际上参数是不生效的。
SparkUI超详细解释（5）——Executors
2301_77818583的博客
04-27 1442
executors页面展示了executor和driver的一些统计信息和明细信息，汇总信息包括内存、磁盘、cpu的使用量，任务执行时间、GC时间，成功、失败、完成的task数量，以及输入输出的数据量等内容。需要注意的是，这个页面中显示的内存使用和executor状态信息都是瞬时值，任务在执行过程中会一直变化，任务执行结束内存指标都会清零。executor和driver并不是物理上的机器，而是宿主在机器上的跑在jvm上的进程，这点从address也可以看出（机器名+端口号）
推荐两本 Spark 好书
wujiandao的专栏
05-08 2356
点击蓝色“有关SQL”关注我哟加个“星标”，天天与10000人一起快乐成长这两本书，分别是：《Spark 快速大数据分析》 （英文书名《Learning Spark: Lightning-...
Spark实战：Spark读取Excel文件
howard2005的专栏
11-14 2249
在Spark集群环境中，实战操作涵盖了Excel转CSV及Spark读取两种格式文件。首先通过WPS将Excel数据另存为CSV，并远程传输至主节点`bigdata1`。在spark-shell中，利用DataFrame API加载CSV并展示内容。为处理Excel，添加了`spark-excel`库到环境，重启shell后成功读取并显示Excel数据。此外，还演示了如何在Scala Spark程序中导入该库以实现对Excel文件的读取和展现，展示了在生产环境中高效集成多种数据源的能力。
Spark面试高频真题一--Spark基础
m0_73359763的博客
09-03 2162
Spark是业界常用的大规模分布式数据处理引擎，也是数仓开发最常用的工具组件，通常一二三轮面试官都会或多或少的提问相关的基础问题。本文总结常见面试问题和答案参考，肯定对你有所帮助。
使用Spark shell
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 7864
大数据实验教学系统使用Spark shellspark-shell命令及其常用的参数如下：   Spark的运行模式取决于传递给SparkContext的Master URL的值。 • 参数选项–master：这个参数表示当前的Spark Shell要连接到哪个master，如果是local[*]，就是使用本地模式启动spark-shell，其中，中括号内的星号表示需要使用几个CPU核心(core)，也就是启动几个线程模拟Spark集群。可选地，默认为local。 • 要查看完整的参数选项列表，可以执行“s
轻量级 CI/CD 实战（四）：本地开发钉钉告警 → 自动部署云服务器 Kafka 消费者容器
m0_74234518的博客
11-24 934
摘要：轻量级 CI/CD 实现 Kafka 消费者容器自动化部署与钉钉告警 本文介绍如何在现有轻量级 CI/CD 流程中，为 Kafka 消费者容器新增钉钉告警功能并实现自动化部署。通过改造 Git Hooks 的 post-receive 脚本，实现代码推送后自动构建 Docker 镜像、替换运行中的容器。关键点包括：1) 本地开发时通过环境变量管理钉钉 Token；2) 使用异步线程发送告警避免阻塞主流程；3) 服务器端通过安全文件存储敏感信息；4) 全自动化部署流程覆盖镜像构建、容器替换等环节。整个方
Spark SQL 简介
好记性不如烂笔头
11-23 707
Spark SQL 是 Spark 用于结构化数据处理的模块，对于开发人员来讲，Spark SQL 可以简化 RDD 的开发，提高开发效率，且执行效率非常快，所以实际工作中，基本上采用的就是 Spark SQL。Spark SQL 为了简化 RDD 的开发，提高开发效率，提供了两个编程抽象，类似 Spark Core 中的 RDD。即 DataFrame 和 DataSet。
Apache Kafka高吞吐消息系统实践分享：实时数据流处理与消息可靠性优化经验
2501_94114477的博客
11-23 582
合理主题与分区设计保证吞吐量和顺序性生产者批量与压缩优化提升发送效率消费者多线程与手动提交偏移保证可靠消费副本与幂等策略确保消息不丢失实时监控与告警提升系统稳定性Kafka 通过高吞吐量、低延迟和可扩展性，为企业实时数据流和消息系统提供可靠解决方案，是金融、电商和 IoT 系统不可或缺的核心组件。
hive-----广电大数据分析
2401_87586917的博客
11-26 643
1．创建存储格式为TextFile的观看历史表text_see和用户信息表text_user（用于存储原始数据）。并创建存储格式为ORC的表orc_see和orc_user。12. 对orc_see表按照用户Group By聚合，然后统计组内的时长即可。3. 用户信息文件userevents.txt存储在本地系统/opt/datas目录下，将其导入表text_user中。5. 将表text_user中数据加载到表orc_user中。4. 将表text_see中数据加载到表orc_see中。
金融大数据风控系统中的多语言语法引擎与分布式架构实践
最新发布
2501_94114711的博客
11-27 228
在金融大数据风控系统中，交易量大、风险复杂，实时性和准确性要求极高。多语言微服务环境中，Python、Java、C++、Go 等服务需要统一的规则解析和执行能力，以保证风控决策快速准确。
Python微服务架构在分布式电商系统中的高性能设计与实战经验总结分享
2501_94181083的博客
11-23 686
I/O 使用协程，CPU 使用进程池缓存层是真正的性能保障消息队列极大提升系统抗压能力系统组件可水平扩展是核心竞争力监控能力比性能更必要，问题才能提前预警Python 借助异步事件模型、缓存、分库分表、微服务拆分与自动扩容机制，在电商这种重 I/O 高并发的场景中完全可以支撑高性能要求。同时开发效率高、维护成本低，使其非常适合构建快速迭代的互联网核心业务服务模块。
Spark大数据平台的机器学习自动调优机制研究
Apache Spark是一个开源的大数据处理框架，基于内存计算，支持大规模数据处理的快速通用引擎。Spark拥有Hadoop MapReduce所具有的优点，同时还解决了Hadoop MapReduce的短板，比如高效的处理跨多个节点的数据、更...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值