Spark 3.4.0新特性--UI支持存储在RocksDB中

最新推荐文章于 2024-12-25 08:30:58 发布
最新推荐文章于 2024-12-25 08:30:58 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： spark 分布式 文章标签： spark ui 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/monkeyboy_tech/article/details/131491218
版权

背景

对于Spark来说，目前存储所有的事件信息以及UI所需要的信息都是默认存储在内存中，这在CS中，对于以Spark作为 Server的模式下，会导致OOM，也会导致造成之前作者提交PR：Multi sparkSession should share single SQLAppStatusStore的问题。

分析

正如Better Spark UI scalability and Driver stability for large applications所说：目前的Spark UI和SHS存在如下问题：
在这里插入图片描述

  1. spark 存储的 UI信息都是在内存中(数据结构为InMemoryStore) ，这会占用大量的内存，会导致Drvier OOM，影响spark的稳定性
  2. spark的UI存储的SQL条数有限，导致完后的任务，如果想回去看看现场，是无迹可寻的
  3. Spark History Server必须从json格式的event中解析出所有的spark事件，尤其未被压缩的的时间日志会很大，导致SHS的启动需要等待很长一段时间

引入以RocksDB作为存储以后，能够减少driver所需内存，并且引进新的protobuf serializer能够大大加快spark事件的读写事件
在这里插入图片描述

Spark2.x新特性
u011592400的博客
05-15 1530
1 Spark2.x 新特性1). Spark Core/SQL在内存和CPU使用方面进一步优化Spark引擎性能(钨丝计划)。支持SQL 2003标准 ，支持子查询，对常用的SQL操作和DataFrame，性能有2-10倍的提升。2). sparksessionSpark2.0 中引入了 SparkSession 的概念，它为用户提供了一个统一的切入点来使用 Spark 的各项功能，统一了旧的S...
Spark系列之（四）——新特性及核心概念
weixin_43676010的博客
06-29 217
Spark3.0特性及spark知识总结
spark3.0-新特性
热门推荐
program哲学
06-27 1万+
spark 3.0 终于出了！！！ Apache Spark 3.0.0是3.x系列的第一个发行版。投票于2020年6月10日获得通过。此版本基于git标签v3.0.0，其中包括截至6月10日的所有提交。Apache Spark 3.0建立在Spark 2.x的许多创新基础之上，带来了新的想法并持续了很长时间。正在开发的长期项目。在开源社区的巨大贡献的帮助下，由于440多位贡献者的贡献，此发行版解决了3400多张门票。 今年是Spark作为开源项目10周年。自2010年首次发布以来，Spark已经发展成为最
25 Spark 3.0 新特性
THE ORDER
03-14 2456
1 Spark 3.0 新特性 2 Adaptive Query Execution 自适应查询(SparkSQL) 3 总结 AQE的开启通过: spark.sql.adaptive.enabled 设置 为true开启,触发后极大提升SparkSQL计算性能 动态分区裁剪可以让我们更好的优化运行时分区内 数据的量级. 通过动态的谓词下推来获取传统静态谓 词下推无法获得的更高过滤属性, 减少操作的分区数 据量以提高性能. 新版Koalas类库可以让我们写Pandas API(
大数据_Spark3.0新特性
日积月累，水滴石穿
09-06 2165
所有这些自适应手段都是在查询计划执行时运用的，如图 3 所示。查询任务中的 Spark 操作是串起来在并行进程中执行的，但数据混洗或数据广播会打断流水线的执行，因为一个执行阶段的输出需要作为下一个执行阶段的输入。简单地说，这种二次优化是动态执行的，如图 3 所示，目标是动态合并混洗分区，减少读取混洗输出数据所需要的归约任务的数量，在合适的时候转换连接策略，并且解决连接时出现的数据倾斜问题。动态分区裁剪优化技术的关键是，将维度表过滤结果注入扫描事实表的操作，使其成为扫描时的过滤条件，从而限制读取的数据量.
spark-3.0.0-bin-without-hadoop.tgz
12-30
这个版本特别适合那些已经拥有Hadoop环境或者打算在其他分布式存储系统上运行Spark的应用场景。 Spark的设计目标是提供比Hadoop MapReduce更快的数据处理速度，同时保持易于编程的特性。它通过引入基于内存计算的...
spark-3.4.1-bin-hadoop3.tgz - Spark 3.4.1 安装包(内置了Hadoop 3)
07-19
文件名: spark-3.4.1-bin-hadoop3.tgz 这是 Apache Spark 3.4.1 版本的二进制文件，专为与 Hadoop 3 配合使用而设计。Spark 是一种快速、...这个文件包含了所有必要的组件，可以直接下载并在 Hadoop 3 环境中使用。
spark-3.2.0-bin-hadoop3-without-hive
04-24
Spark 与 Hadoop 3 的集成意味着可以充分利用这些新特性，为大数据处理提供更强大的底层支持。 然而，"without-hive" 表明这个版本的 Spark 并未集成 Hive 支持。Hive 是一个基于 Hadoop 的数据仓库工具，用于数据...
spark安装包+spark实验安装软件
06-15
在本压缩包中，"spark-3.4.0-bin-without-hadoop"是Spark的一个预编译版本，不包含Hadoop依赖，适用于那些已经有Hadoop环境或者打算使用其他存储系统的用户。 **1. Spark的基本概念** Spark的核心组件包括：Spark ...
protoc-3.4.0-linux-x86_64
09-04
3. **配置环境变量**：如果你选择添加`bin`目录到PATH，可以运行`export PATH=$PATH:/path/to/protoc-3.4.0-linux-x86_64/bin`，然后`protoc`就可以在终端中直接使用了。如果希望永久生效，需要将此行添加到`~/....
spark2.3新特性：What's New in Apache Spark 2.3
10-26
介绍spark2.3新特性：What's New in Apache Spark 2.3.
Spark 3.2.0 版本新特性 push-based shuffle 论文详解（二）背景和动机
Shockang的博客
02-27 2640
Spark 3.2.0 版本新特性 push-based shuffle 论文详解（二）背景和动机 前言 本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见大数据技术体系 目录 Spark 3.2.0 版本新特性 push-based shuffle 论文详解（一）概要和介绍 Spark 3.2.0 版本新特性 push-based shuffle 论文详解（二）背景和动机 Spark 3.2.0 版本新特性 p
Spark3.0新特性分析
snail_bing的博客
06-28 1534
特性概览 官方release note： https://spark.apache.org/releases/spark-release-3-0-0.html https://spark.apache.org/docs/3.0.0/core-migration-guide.html http://spark.apache.org/releases/spark-release-3-0-2.html 1.Adaptive Query Execution - [SPARK-31412] 2.Dyna
Apache Spark 3.3.0新特性详解
最新发布
大数据星球-浪尖
12-25 1976
浪尖第一个增强现实小程序Apache Spark 3.3.0 从2021年07月03日正式开发，历时近一年，终于在2022年06月16日正式发布，在 Databricks Runtime 11.0 也同步发布。这个版本一共解决了 1600 个 ISSUE，感谢 Apache Spark 社区为 Spark 3.3 版本做出的宝贵贡献。根据经验，这个版本应该不是稳定版，想在线上环境使用的小伙伴们可以...
历时一年 Apache Spark 3.3.0 正式发布，新特性详解
过往记忆大数据
06-18 6294
Apache Spark 3.3.0 从2021年07月03日正式开发，历时近一年，终于在2022年06月16日正式发布，在 Databricks Runtime 11.0 也同步发布。这个版本一共解决了 1600 个 ISSUE，感谢 Apache Spark 社区为 Spark 3.3 版本做出的宝贵贡献。根据经验，这个版本应该不是稳定版，想在线上环境使用的小伙伴们可...
python数据导入hive_Spark2.1.0入门：连接Hive读写数据（DataFrame）(Python版)
weixin_39857153的博客
12-01 598
Hive是基于Hadoop的数据仓库(要想了解更多数据仓库Hive的知识以及如何安装Hive，可以参考厦门大学数据库实验室的Hive授课视频、Hive安装指南)。本节内容介绍Spark如何连接Hive并读写数据。一、让Spark包含Hive支持为了让Spark能够访问Hive，必须为Spark添加Hive支持。Spark官方提供的预编译版本，通常是不包含Hive支持的，需要采用源码编译，编译得到一...
Spark3.4.0(local模式) + Hbase(伪分布式)2.5.4 时报错
小朱不是小猪的博客
04-18 926
在我的版本上spark/jars/目录下没有htrace-core-3.1.0-incubating.jar，因此另外下载了htrace-core4-4.1.0-incubating.jar，在上述链接下载了。开启了hdfs以及hbase，创建了student表并已put插入数据；在Spark 2.0版本上缺少相关把hbase的数据转换python可读取的jar包，需要我们另行下载。在开始编程操作HBase数据库之前，需要对做一些准备工作。仁者见仁智者见智，在此希望得到各位指点，不胜感激。
Spark UI界面原理
weixin_30235225的博客
07-06 560
　　当Spark程序在运行时，会提供一个Web页面查看Application运行状态信息。是否开启UI界面由参数spark.ui.enabled(默认为true)来确定。下面列出Spark UI一些相关配置参数，默认值，以及其作用。 参数 默认值 作用描述 spark.ui.enabled true 是否开启UI界面 spark.u...
Spark 3.5.0 特性速览
大数据，大模型，服务器，技术、架构，方案
03-19 2870
Spark 3系列已经发布了第六版3.5.0，目前最新3.5.1。使用最广泛的大数据可扩展计算引擎。数以千计的公司，包括 80% 的财富 500 强企业，都在使用 Apache Spark。来自业界和学术界的 2000 多名开源项目贡献者。Apache Spark 3.5.0 是 3.x 系列中的第六个版本，该版本在开源社区的大力贡献下解决了超过 1,300 个 Jira 问题。
Unable to find py4j in D:\Software\JAVA\Spark\spark-3.4.0-bin-hadoop3\spark-3.4.0-bin-hadoopin\python
04-27
It seems like you are facing an issue with py4j while running Spark on your system. Py4j is a Python library used to interact with Java programs, and it is required by Spark to run Python applications. One possible solution to this issue is to install py4j using pip. You can try running the following command in your terminal: ``` pip install py4j ``` If this doesn't work, you can try setting the PY4J_HOME environment variable to the location of the py4j library on your system. You can do this by adding the following line to your .bashrc or .bash_profile file: ``` export PY4J_HOME=/path/to/py4j ``` Make sure to replace "/path/to/py4j" with the actual path to the py4j library on your system. Once you have installed or configured py4j, you should be able to run Spark without any issues.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值