Spark 3.4.0新特性--UI支持存储在RocksDB中

最新推荐文章于 2025-04-14 04:52:54 发布
原创 最新推荐文章于 2025-04-14 04:52:54 发布 · 1.4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #ui #大数据

文章讨论了Spark默认在内存中存储事件信息导致的DriverOOM问题，以及SparkUI和SparkHistoryServer的性能瓶颈。提出使用RocksDB作为存储后，可以减少内存消耗，同时protobufserializer加速事件的读写，提高系统稳定性。

背景

对于Spark来说，目前存储所有的事件信息以及UI所需要的信息都是默认存储在内存中，这在CS中，对于以Spark作为 Server的模式下，会导致OOM，也会导致造成之前作者提交PR：Multi sparkSession should share single SQLAppStatusStore的问题。

分析

正如Better Spark UI scalability and Driver stability for large applications所说：目前的Spark UI和SHS存在如下问题：
在这里插入图片描述

  1. spark 存储的 UI信息都是在内存中(数据结构为InMemoryStore) ，这会占用大量的内存，会导致Drvier OOM，影响spark的稳定性
  2. spark的UI存储的SQL条数有限，导致完后的任务，如果想回去看看现场，是无迹可寻的
  3. Spark History Server必须从json格式的event中解析出所有的spark事件，尤其未被压缩的的时间日志会很大，导致SHS的启动需要等待很长一段时间

引入以RocksDB作为存储以后，能够减少driver所需内存，并且引进新的protobuf serializer能够大大加快spark事件的读写事件
在这里插入图片描述

Spark2.x新特性
u011592400的博客
05-15 1557
1 Spark2.x 新特性1). Spark Core/SQL在内存和CPU使用方面进一步优化Spark引擎性能(钨丝计划)。支持SQL 2003标准 ，支持子查询，对常用的SQL操作和DataFrame，性能有2-10倍的提升。2). sparksessionSpark2.0 中引入了 SparkSession 的概念，它为用户提供了一个统一的切入点来使用 Spark 的各项功能，统一了旧的S...
spark-3.0.0-bin-without-hadoop.tgz
12-30
这个版本特别适合那些已经拥有Hadoop环境或者打算在其他分布式存储系统上运行Spark的应用场景。 Spark的设计目标是提供比Hadoop MapReduce更快的数据处理速度，同时保持易于编程的特性。它通过引入基于内存计算的...
Spark系列之（四）——新特性及核心概念
weixin_43676010的博客
06-29 726
Spark3.0特性及spark知识总结
spark3.0-新特性
热门推荐
program哲学
06-27 1万+
spark 3.0 终于出了！！！ Apache Spark 3.0.0是3.x系列的第一个发行版。投票于2020年6月10日获得通过。此版本基于git标签v3.0.0，其中包括截至6月10日的所有提交。Apache Spark 3.0建立在Spark 2.x的许多创新基础之上，带来了新的想法并持续了很长时间。正在开发的长期项目。在开源社区的巨大贡献的帮助下，由于440多位贡献者的贡献，此发行版解决了3400多张门票。 今年是Spark作为开源项目10周年。自2010年首次发布以来，Spark已经发展成为最
25 Spark 3.0 新特性
THE ORDER
03-14 2552
1 Spark 3.0 新特性 2 Adaptive Query Execution 自适应查询(SparkSQL) 3 总结 AQE的开启通过: spark.sql.adaptive.enabled 设置 为true开启,触发后极大提升SparkSQL计算性能 动态分区裁剪可以让我们更好的优化运行时分区内 数据的量级. 通过动态的谓词下推来获取传统静态谓 词下推无法获得的更高过滤属性, 减少操作的分区数 据量以提高性能. 新版Koalas类库可以让我们写Pandas API(
大数据_Spark3.0新特性
日积月累，水滴石穿
09-06 2203
所有这些自适应手段都是在查询计划执行时运用的，如图 3 所示。查询任务中的 Spark 操作是串起来在并行进程中执行的，但数据混洗或数据广播会打断流水线的执行，因为一个执行阶段的输出需要作为下一个执行阶段的输入。简单地说，这种二次优化是动态执行的，如图 3 所示，目标是动态合并混洗分区，减少读取混洗输出数据所需要的归约任务的数量，在合适的时候转换连接策略，并且解决连接时出现的数据倾斜问题。动态分区裁剪优化技术的关键是，将维度表过滤结果注入扫描事实表的操作，使其成为扫描时的过滤条件，从而限制读取的数据量.
spark安装包+spark实验安装软件
06-15
在本压缩包中，"spark-3.4.0-bin-without-hadoop"是Spark的一个预编译版本，不包含Hadoop依赖，适用于那些已经有Hadoop环境或者打算使用其他存储系统的用户。 **1. Spark的基本概念** Spark的核心组件包括：Spark ...
spark-3.4.1-bin-hadoop3.tgz - Spark 3.4.1 安装包(内置了Hadoop 3)
07-19
文件名: spark-3.4.1-bin-hadoop3.tgz 这是 Apache Spark 3.4.1 版本的二进制文件，专为与 Hadoop 3 配合使用而设计。Spark 是一种快速、...这个文件包含了所有必要的组件，可以直接下载并在 Hadoop 3 环境中使用。
spark-3.2.0-bin-hadoop3-without-hive
04-24
Spark 与 Hadoop 3 的集成意味着可以充分利用这些新特性，为大数据处理提供更强大的底层支持。 然而，"without-hive" 表明这个版本的 Spark 并未集成 Hive 支持。Hive 是一个基于 Hadoop 的数据仓库工具，用于数据...
protoc-3.4.0-linux-x86_64
09-04
3. **配置环境变量**：如果你选择添加`bin`目录到PATH，可以运行`export PATH=$PATH:/path/to/protoc-3.4.0-linux-x86_64/bin`，然后`protoc`就可以在终端中直接使用了。如果希望永久生效，需要将此行添加到`~/....
spark2.3新特性：What's New in Apache Spark 2.3
10-26
介绍spark2.3新特性：What's New in Apache Spark 2.3.
Spark 3.2.0 版本新特性 push-based shuffle 论文详解（二）背景和动机
Shockang的博客
02-27 2685
Spark 3.2.0 版本新特性 push-based shuffle 论文详解（二）背景和动机 前言 本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见大数据技术体系 目录 Spark 3.2.0 版本新特性 push-based shuffle 论文详解（一）概要和介绍 Spark 3.2.0 版本新特性 push-based shuffle 论文详解（二）背景和动机 Spark 3.2.0 版本新特性 p
Spark3.0新特性分析
snail_bing的博客
06-28 1638
特性概览 官方release note： https://spark.apache.org/releases/spark-release-3-0-0.html https://spark.apache.org/docs/3.0.0/core-migration-guide.html http://spark.apache.org/releases/spark-release-3-0-2.html 1.Adaptive Query Execution - [SPARK-31412] 2.Dyna
Apache Spark 3.3.0新特性详解
大数据星球-浪尖
12-25 2151
浪尖第一个增强现实小程序Apache Spark 3.3.0 从2021年07月03日正式开发，历时近一年，终于在2022年06月16日正式发布，在 Databricks Runtime 11.0 也同步发布。这个版本一共解决了 1600 个 ISSUE，感谢 Apache Spark 社区为 Spark 3.3 版本做出的宝贵贡献。根据经验，这个版本应该不是稳定版，想在线上环境使用的小伙伴们可以...
历时一年 Apache Spark 3.3.0 正式发布，新特性详解
过往记忆大数据
06-18 6459
Apache Spark 3.3.0 从2021年07月03日正式开发，历时近一年，终于在2022年06月16日正式发布，在 Databricks Runtime 11.0 也同步发布。这个版本一共解决了 1600 个 ISSUE，感谢 Apache Spark 社区为 Spark 3.3 版本做出的宝贵贡献。根据经验，这个版本应该不是稳定版，想在线上环境使用的小伙伴们可...
python数据导入hive_Spark2.1.0入门：连接Hive读写数据（DataFrame）(Python版)
weixin_39857153的博客
12-01 629
Hive是基于Hadoop的数据仓库(要想了解更多数据仓库Hive的知识以及如何安装Hive，可以参考厦门大学数据库实验室的Hive授课视频、Hive安装指南)。本节内容介绍Spark如何连接Hive并读写数据。一、让Spark包含Hive支持为了让Spark能够访问Hive，必须为Spark添加Hive支持。Spark官方提供的预编译版本，通常是不包含Hive支持的，需要采用源码编译，编译得到一...
Spark 3.4 新特性助力大数据处理：性能提升与功能增强
数字魔方操控师的博客
04-14 632
Apache Spark 3.4 通过一系列性能提升和功能增强特性，为大数据处理带来了显著的改进。从 AQE 的优化到 Spark Connect 的创新架构，从对 Python 支持的增强到新内置函数的引入，以及在 ANSI SQL 兼容性、错误信息框架等方面的改进，都使得数据工程师和科学家能够更高效、更灵活地处理和分析海量数据。在实际应用中，众多企业已经通过 Spark 3.4 获得了性能提升、成本降低和功能扩展等实实在在的好处。
Spark3.4.0(local模式) + Hbase(伪分布式)2.5.4 时报错
小朱不是小猪的博客
04-18 1013
在我的版本上spark/jars/目录下没有htrace-core-3.1.0-incubating.jar，因此另外下载了htrace-core4-4.1.0-incubating.jar，在上述链接下载了。开启了hdfs以及hbase，创建了student表并已put插入数据；在Spark 2.0版本上缺少相关把hbase的数据转换python可读取的jar包，需要我们另行下载。在开始编程操作HBase数据库之前，需要对做一些准备工作。仁者见仁智者见智，在此希望得到各位指点，不胜感激。
Spark UI界面原理
weixin_30235225的博客
07-06 606
　　当Spark程序在运行时，会提供一个Web页面查看Application运行状态信息。是否开启UI界面由参数spark.ui.enabled(默认为true)来确定。下面列出Spark UI一些相关配置参数，默认值，以及其作用。 参数 默认值 作用描述 spark.ui.enabled true 是否开启UI界面 spark.u...
spark-3.4.0-bin-without-hadoop.tgz xiazai
最新发布
05-10
<think>好的，我需要帮用户解决如何下载Spark 3.4.0不含Hadoop的二进制版本的问题。用户之前已经问过类似的问题，我之前给出了官网的下载链接和配置注意事项。现在用户再次询问，可能希望得到更详细的步骤或者确认某些信息。 首先，查看用户提供的引用内容。引用[1]提到安装Spark前需要先安装Linux系统、JDK和Hadoop，并给出解压和配置文件的步骤。引用[2]提供了官网的下载链接和清华大学的镜像链接，还提到需要安装Python和Hadoop，并测试spark-shell。引用[3]强调要选择不带Hive的Spark版本，Hadoop版本用2.x即可。引用[4]指出如果使用Hadoop 3.x，必须选择不带Hadoop的Spark版本，否则会有兼容性问题。 用户当前的需求是下载spark-3.4.0-bin-without-hadoop.tgz，需要确保提供的步骤正确，并且考虑到用户可能的环境配置。根据之前的回答，官网链接和镜像链接已经给出，但用户可能需要更明确的指导，比如如何选择正确的版本，验证文件完整性，解压步骤等。 需要注意，用户可能已经安装了Hadoop 3.x，所以必须选择不带Hadoop的Spark版本，这点在引用[4]中强调过。另外，用户可能需要配置环境变量，如SPARK_HOME，以及处理依赖项，如Hadoop的类路径。 还要检查用户是否已经安装了JDK和Hadoop，因为引用[1]提到这是前提条件。可能需要提醒用户确认这些依赖是否已安装，并提供验证方法，比如运行java -version和hadoop version命令。 另外，引用[2]提到需要安装Python，但用户的问题中没有提到Python的需求，可能需要询问或提示用户是否需要Python支持。 最后，确保回答结构清晰，分步骤说明下载、验证、解压、配置和环境变量设置，并生成相关问题帮助用户进一步操作。</think>### 详细下载步骤及注意事项 根据引用内容并结合 Spark 官方文档要求，以下是下载 `spark-3.4.0-bin-without-hadoop.tgz` 的完整流程： #### 1. 下载地址确认 - **官方下载页面** 访问 [Apache Spark 3.4.0 官方发布页](https://spark.apache.org/downloads.html)，选择以下配置： ```plaintext Spark release: 3.4.0 Package type: "Pre-built for Apache Hadoop without Hadoop" Download type: .tgz ``` 最终文件名为 `spark-3.4.0-bin-without-hadoop.tgz`[^1][^4]。 - **镜像加速** 若官网下载速度慢，可使用清华大学镜像站： ```plaintext https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.4.0/ ``` #### 2. 文件完整性验证 下载完成后，**必须校验文件哈希值**以避免损坏或篡改： ```bash # 下载校验文件 wget https://downloads.apache.org/spark/spark-3.4.0/spark-3.4.0-bin-without-hadoop.tgz.sha512 # 计算本地文件哈希 sha512sum spark-3.4.0-bin-without-hadoop.tgz # 对比结果（需完全一致） cat spark-3.4.0-bin-without-hadoop.tgz.sha512 ``` #### 3. 解压与目录配置 ```bash # 解压至 /usr/local（需管理员权限） sudo tar -zxvf spark-3.4.0-bin-without-hadoop.tgz -C /usr/local/ # 重命名目录（避免版本号干扰） sudo mv /usr/local/spark-3.4.0-bin-without-hadoop /usr/local/spark ``` #### 4. 环境变量配置 编辑 `~/.bashrc` 或 `/etc/profile`，添加以下内容： ```bash export SPARK_HOME=/usr/local/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin ``` 执行 `source ~/.bashrc` 使配置生效。 #### 5. 依赖配置（关键步骤） 由于未捆绑 Hadoop，需**手动指定 Hadoop 类路径**： - **方式 1**：通过 `spark-env.sh` 配置 ```bash cd $SPARK_HOME/conf cp spark-env.sh.template spark-env.sh echo "export SPARK_DIST_CLASSPATH=$(hadoop classpath)" >> spark-env.sh ``` - **方式 2**：提交任务时动态指定 ```bash spark-submit --conf spark.driver.extraClassPath=$(hadoop classpath) \ --conf spark.executor.extraClassPath=$(hadoop classpath) \ YourApp.jar ``` #### 6. 验证安装 ```bash # 检查 Spark 版本 spark-submit --version # 启动本地模式测试 spark-shell ``` 若成功进入 Scala REPL 并显示 `Spark context Web UI` 地址，则安装成功[^2][^3]。 --- ### 版本兼容性说明 | 组件 | 要求版本 | 验证命令 | |-------------|-------------------------|--------------------| | **JDK** | >= 1.8 (推荐 OpenJDK 11)| `java -version` | | **Hadoop** | 3.x (需与集群版本一致) | `hadoop version` | | **Python** | >= 3.6 (可选) | `python3 --version`| --- ### 常见问题解答 **Q1：为何必须选择 `without Hadoop` 版本？** 当已部署 Hadoop 3.x 时，若使用捆绑 Hadoop 2.x 的 Spark 版本，会导致库冲突（如 `guava` 版本不兼容）[^4]。 **Q2：如何解决 `ClassNotFoundException` 错误？** 需确保： 1. `hadoop classpath` 输出包含所有必要依赖 2. Spark 配置文件中正确引用了 Hadoop 类路径[^3] ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值