Spark SQL 2.4.0 性能调优实战指南 (基于 CDH 6.3.2)

基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优 但是这样有个问题是当集群有多个用户运行Hive查询时会有问题,应避免为每个用户的会话分配固定数量的executor,因为executor分配后不能回其他用户的查询使用,如果有空闲的executor,在生产环境中,计划分配好executor可以更充分的利用Spark集群资源。启动并发GC周期时的堆内存占用百分比. G1之类的垃圾收集器用它来触发并发GC周期,基于整个堆的使用率,而不只是某一代内存的使用比. 值为 0 则表示"一直执行GC循环". 默认值为 45.​。本集群分别设置为3G和1G。 阅读详情

Spark SQL 2.4.0 性能调优实战指南 (基于 CDH 6.3.2)

一、 集群硬件资源统计总结 (Baseline)

  • 高性能组 (nd1-nd5): 5台,14核 CPU,约 30GB 内存。
  • 标准组 (nd6, nd11-nd16): 7台,10核 CPU,约 13GB 内存。
  • 总结: 全集群总计 140 vCPU,约 250GB 物理内存。由于内存极度有限,调优核心在于:严控 Executor 内存,防止 Yarn 杀进程。

在这里插入图片描述


业务背景:千万级招投标大数据治理项目

在企业级数据仓库建设中,招投标数据是极具商业价值但也极具治理挑战的一类数据。本项目主要针对 5000万级关联单位数据、5000万级招投标基础信息以及1600万级正文详情进行深度清洗、去重与标准化治理。

1.1 数据现状与规模

治理对象涉及三张核心业务表,部署于 CDH 6.3.2 (Spark 2.4.0) 集群:

  • 基础信息表 (t_bidding_info): 约 2000 万条记录(rowdatasize数据为2298725621 即20.77gb),作为治理的主干。
  • 关联单位表 (t_bidding_related): 约 5000 万条记录,涉及复杂的“一对多”关系。
  • 正文内容表 (t_bidding_content): 约 1600 万条记录,包含核心字段 content_html。该字段存储完整的 HTML 网页源代码,单行体积巨大。

1.2 技术痛点:大文本与极度倾斜

  • 大文本内存压力: content_html 在 Shuffle 过程中涉及高频序列化与反序列化。若堆外内存(Overhead)不足,Yarn 会因 Memory limits exceeded 频繁杀掉 Container。
  • 计算逻辑复杂: 治理过程包含多层嵌套、窗口函数 (row_number) 去重、跨表 LEFT JOIN 补全地域维表(省市区三级映射),对计算引擎的并行度控制要求极高。
  • 硬件资源受限: 节点存在 13.5GB 内存短板,无法盲目通过增加 Executor 内存来解决问题。

1.3 治理目标

  • 高稳定性: 解决大字段导致的 OOM 和 Yarn 容器被杀问题,确保任务 100% 成功。
  • 防倾斜: 通过参数规避和 SQL “加盐”技术,解决招投标行业常见的“热点 Key”导致的计算长尾。
  • 高性能: 在有限资源下,通过优化并行度和 Join 策略,使任务在最短时间内完成。

二、 官方核心参数详解与测算逻辑

在调优前,可以参考以下官方权威指南以确保参数语义准确:

2.1 核心参数调优逻辑

参数名称官方默认值核心作用与计算意义
spark.executor.memory1G堆内内存。用于 Join 哈希表、窗口函数缓存、Task 执行。
spark.executor.cores1 (YARN模式)并发能力。一个 Executor 进程内同时运行的任务线程数。
memoryOverheadmax(384M, 10% memory)堆外内存。用于 NIO 缓存、字符串序列化、管理开销。
num-executors2资源总量。在集群中启动的计算单元(车间)总数。
shuffle.partitions200任务粒度。Shuffle 阶段将数据横向切分的份数。

在 Spark 2.4 环境下,调优的核心策略是:“基于短板定单体,基于总量定并发”。

2.1 单体 Executor 规格测算:为何锁定 6GB?

虽然标准组节点(13.5GB)的 YARN 极限约为 9GB,但将单体容器(Container)上限锁定为 6GB。

  • 总内存上限: 6GB
  • 堆外内存 (Overhead): 建议设为 2GB (应对 HTML 序列化缓冲区)。
  • 堆内内存 (Executor Memory): 6GB - 2GB = 4GB。
(1) 理由:异构集群的“填充效率”
  • 大节点 (nd1-nd5, 24G可用):若设为 8G,每台放 3 个容器(Container);若设为 6G,每台放 4 个容器(Container)。
  • 小节点 (nd6/11-16, 9G可用):无论 6G 还是 8G,都只能放 1 个容器(Container)。
  • 推理结论:6G 规格作为“原子单位”,能在大内存节点多出 33% 的并发槽位,避免资源碎块化浪费。
(2) 理由:系统稳定性与“呼吸空间”
  • 测算过程:小节点物理总额 13.5G。若 YARN 占满 9G,剩下 4.5G 需支撑 OS、DataNode 和 NodeManager。
  • 风险:处理大 HTML 时瞬时申请内存极高,若无冗余会触发 Linux OOM Killer 导致挂机。
  • 决策:设定单体 6G,为物理机留出约 3.5GB 安全缓冲。

2.2 内部配比测算:堆内 vs 堆外

针对 content_html 大文本任务,内存必须向堆外(Overhead)倾斜。

(1) 堆外内存 (MemoryOverhead) 测算

堆外内存主要用于 NIO 缓存、字符串序列化(处理 content_html)及管理开销。

  • 通用计算公式:

    MemoryOverhead = max(384MB, executor-memory* 0.1)
    
  • 本项目实战测算:

    由于治理对象包含 1600 万条大文本 HTML 源码,Kryo 序列化缓冲区压力巨大。默认的 10% 比例( 384MB)不足以支撑高频的序列化操作。

  • 默认值:max(384M, 10% memory)。对于 默认的1G堆内,默认仅 384M。

  • 推理:千万级 HTML 源码在网络传输缓冲区、Kryo 序列化缓存中占用极高。384MB 在大文本面前极易导致 Container 被 YARN 杀掉。

  • 设定值:强行锁定 2GB (2048MB)。

(2) 堆内内存 (Executor-Memory) 测算
  • 公式:

    ExecutorMemory=ContainerSize−MemoryOverhead
    
  • 过程:

    6GB−2GB=4GB
    
  • 决策:设定为 4GB,用于 Join 时的哈希表存储。

2.3 执行数量 (num-executors) 测算

(1) 资源总量配比
  • 当前 YARN 限额:120 GB。(以方案A为例)

  • 计算公式:

    num−executors=TotalYarnMemory/单体大小(6GB)
    
  • 过程:

    120/6=20个
    
  • 决策:考虑到 Driver 占用及资源抖动,实操建议设定 18 - 20 个。

2.4 并发核数 (executor-cores) 测算

(1) 人均内存压测

保证单核拥有 2GB 稳健空间处理正则截取等复杂逻辑,若设为 4 核则人均仅 1GB,极易 OOM。

  • 公式:

    Cores=ExecutorMemory(堆内内存)/PerTaskMem(单个任务(Task)平均可占用的堆内内存空间)
    4g/2=2核
    
  • 推理:

    • 若给 4 核:人均仅 1GB,处理千万级 SQL 极易 OOM。
    • 若给 2 核:人均 2GB,能稳健处理 MD5、正则截取等计算。
  • 决策:设定为 2。

2.5 Shuffle 并行度 (partitions) 测算

(1) 数据块大小匹配

需要计算三个表的Shuffle数据量大小

--info表
ANALYZE TABLE hive_dim_syx_reg_info4000w_hive_ods_info2000w_related5000w_content1600w.ods_q_db_df_bidding_t_bidding_info_2 
COMPUTE STATISTICS FOR COLUMNS;
DESCRIBE FORMATTED hive_dim_syx_reg_info4000w_hive_ods_info2000w_related5000w_content1600w.ods_q_db_df_bidding_t_bidding_info_2;
--content表
ANALYZE TABLE  hive_dim_syx_reg_info4000w_hive_ods_info2000w_related5000w_content1600w.ods_q_db_df_bidding_t_bidding_info_2 
COMPUTE STATISTICS FOR COLUMNS;
DESCRIBE FORMATTED hive_dim_syx_reg_info4000w_hive_ods_info2000w_related5000w_content1600w.ods_q_db_df_bidding_t_bidding_content_2_4_orc;
--relted表
ANALYZE TABLE hive_dim_syx_reg_info4000w_hive_ods_info2000w_related5000w_content1600w.ods_q_db_df_bidding_t_bidding_related_2_4 
COMPUTE STATISTICS FOR COLUMNS;
DESCRIBE FORMATTED hive_dim_syx_reg_info4000w_hive_ods_info2000w_related5000w_content1600w.ods_q_db_df_bidding_t_bidding_related_2_4;

Spark 和 Hive 统计信息中的 rawDataSize (真实的数据大小,没有被压缩)是以 Byte(字节) 为单位的原始数值,而我们在调优文档中使用的 GiB 是基于 二进制(1024进制) 计算的。

info表:rawDataSize:44440317967 换算为GB/1024/1024/1024 = 41.39 GiB

relted表:rawDataSize:39,117,864,576换算为GB/1024/1024/1024 = 36.43 GiB

content表:rawDataSize:12,455,028,051换算为GB/1024/1024/1024 = 11.60 GiB

  • 数据画像:数据 Shuffle 量预估 89.42 GiB。

  • 目标:每个 Task 处理 128MB 数据。

  • 公式:

    partitions=TotalShuffleSize/128MB
    

    89.42*1024/128mb=715

  • 决策:设定为 715。若存在极度数据倾斜,调大至 1000-2000 以细化分片。

2.6 Driver 内存 (driver-memory) 测算逻辑

Driver 进程负责解析 SQL、生成 DAG 图、管理数千个 Task 的状态以及存储广播变量,其内存需求由以下三部分组成:

(1) 计算公式
DriverMemory = BaseInternalMemory + MetadataBuffer + (BroadcastTableSize * ExpansionFactor)
(2) 推导逻辑与测算过程
  1. 基础开销 (BaseInternalMemory): SparkContext 及 JVM 运行所需的保底内存,固定预留 1 GB。
  2. 任务元数据缓冲 (MetadataBuffer):
    • 背景: 本项目 shuffle.partitions 设定为 1000 - 2000,Driver 需维护数千个 Task 的运行信息。
    • 复杂度: 窗口函数和多层嵌套 JOIN 的执行计划非常庞大。
    • 测算: 为支撑高并发任务调度,预留 1 GB。
  3. 广播变量扩展 (Broadcast Expansion):
    • 数据量: autoBroadcastJoinThreshold 调高至 100MB。
    • 膨胀系数: 广播表在 Driver 端以 Java 对象形式存储,通常会有 2-3 倍的内存膨胀。
    • 计算: 100MB 的3 倍 300MB。考虑到同时可能存在多个维表广播,预留 2 GB 以确保绝对安全。
(3) 测算结论与建议
  • 稳定跑方案 (方案 A): 1GB (基础) + 1GB (元数据) + 2GB (广播) = 4 GB。
  • 决策建议: 设定为 4GB。这能确保在千万级数据治理场景下,Driver 不会因为管理开销或广播维表而发生 OOM 崩溃

三、 防倾斜与内存优化 (Stability)

3.1 数据倾斜治理 (Spark 2.4 手动挡)

Spark 2.4 缺乏 3.x 的自动拆分倾斜分区功能,必须手动干预:

  • 策略 A:利用广播解决 (Map-side Join)
    • 参数:spark.sql.autoBroadcastJoinThreshold
    • 优化:默认 10MB,建议调大至 50MB - 100MB。
    • 作用:强制维度表走广播,彻底规避 Shuffle,从根源消除倾斜。
  • 策略 B:增加并行度
    • 优化:将 shuffle.partitions 调大至 2000。
    • 作用:更细的分片可分散倾斜 Key 的压力,即使单个 Task 耗时,也能降低 OOM 风险。

3.2 内存与磁盘交互优化

  • spark.memory.fraction (0.7): 提高执行内存占比,应对复杂的 JSON 和 HTML 解析逻辑。
  • spark.memory.storageFraction (0.2): 调低存储占比。治理任务不涉及缓存 (cache),应将内存全力供应给计算逻辑。

四、 业务场景推荐参数配置表

参数项稳定跑 (生产常规)
测算目标不报错,速度均匀
executor-memory4GB
executor-cores2
memoryOverhead2GB
num-executors20
shuffle.partitions1000
driver-memory4GB
CDH6.3.2 升级 Spark3.3.0 版本 看网上的资料,有人说 Spark3 的 SQL 运行性能比 Spark2 可提升 20%,本人未验证,但是 Spark3 的 AE 功能的确很香,能自适应解决 Spark SQL 的数据倾斜。修改 spark3 的 pom 配置 /opt/spark-3.3.0/pom.xml,增加 cloudera maven 仓库。用的是 spark 的 make-distribution.sh 脚本进行编译,这个脚本其实也是用 maven 编译的,配置 spark3-submit 快捷方式。重置 scala 版本。 阅读详情

相关推荐

Spark 3.0实战:从环境搭建到性能调优的完整指南

在大数据处理领域,分布式计算框架是处理海量数据的核心技术。其核心原理在于将大规模数据集分割成多个分区,通过并行计算集群进行高效处理,从而突破单机性能瓶颈。这项技术的核心价值在于能够显著提升数据处理效率,降低计算成本,并支持复杂的分析任务。它广泛应用于日志分析、用户行为统计、机器学习特征工程等场景。本文聚焦于Apache Spark 3.0这一主流框架,深入探讨其自适应查询执行(AQE)和动态分区裁剪(DPP)等智能化特性,这些特性能够自动优化执行计划,有效应对数据倾斜问题,并结合Kryo序列化等性能优化手段

weixin_31412781的博客 255

CDH 6.3.2环境下Spark SQL 2.4.0性能调优实战指南

Spark SQL作为大数据处理的核心引擎,其性能调优关键在于资源分配与执行计划优化。通过合理配置Executor内存与CPU核心,可显著提升集群资源利用率,其中内存管理采用统一内存模型,需平衡存储与执行内存比例。在CDH环境中,结合YARN调度特性与HDFS存储优化,能有效解决数据倾斜与Shuffle性能瓶颈。典型应用场景包括TB级数据分析、多表Join优化等,通过分桶技术、动态分区裁剪等手段,实测可使查询性能提升3-5倍。本文以Spark 2.4.0为例,详解参数组合如spark.sql.shuffle

weixin_32597009的博客 230

Spark3 AQE实战:从CDH6.3.2外挂Spark-SQL到解决数据倾斜的完整配置流程

本文详细介绍了在CDH6.3.2环境中外挂Spark3.3并启用Adaptive Query Execution(AQE)的完整配置流程,重点解决数据倾斜问题。通过动态分区合并、智能Join策略切换等核心机制,显著提升Spark-SQL作业性能,适用于企业级大数据处理场景。

weixin_30872499的博客 388

Spark SQL 2.4.0性能调优与CDH 6.3.2实践指南

大数据处理中,Spark SQL作为核心组件,其性能优化直接影响查询效率。通过理解执行引擎原理,特别是Spark 2.4.0引入的自适应查询执行(AQE)和Parquet优化等特性,可以显著提升OLAP场景性能。关键技术手段包括合理配置Executor资源、优化shuffle分区、处理数据倾斜等工程实践。在CDH 6.3.2生产环境中,结合YARN资源管理和HDFS存储优化,可实现70%以上的查询性能提升。典型应用场景包括数据仓库查询加速、ETL流程优化等,其中Parquet列式存储和Cost-Based

weixin_29061041的博客 28

Spark 1.0.0 横空出世 Spark on Yarn 部署(Hadoop 2.4)

就在昨天,北京时间5月30日20点多。Spark 1.0.0终于发布了:Spark 1.0.0 released 根据官网描述,Spark 1.0.0支持SQL编写:Spark SQL Programming Guide 个人觉得这个功能对Hive的市场的影响很小,但对Shark冲击很大,就像win7和winXP的关系,自相残杀嘛? 这么着急的发布1.x 版是商业行为还是货真价实的体现,让我们拭目以待吧~~~~ 本文是优快云-撸大湿原创,如要转载请注明出处,谢谢:http://blog.csdn.net

撸大湿专栏 8395

Spark3 AQE实战:从原理到调优,解锁性能提升新姿势

本文深入解析Spark3 AQE(Adaptive Query Execution)的核心原理与实战调优技巧,帮助开发者解锁性能提升新姿势。通过动态合并分区、Join策略切换和数据倾斜优化三大机制,显著提升集群资源利用率和作业执行效率。文章还提供了生产环境配置建议和常见问题排查指南,助力大数据工程师高效应对分布式计算挑战。

weixin_30836759的博客 475

Spark SQL在CDH 6.3.2中的性能调优实战

在大数据领域,Spark SQL作为高效的分布式SQL引擎,其性能优化是提升数据处理效率的关键。通过理解其基于内存计算的原理,合理配置资源分配和并行度参数,可以显著提升查询速度。特别是在CDH环境中,结合YARN资源管理和Parquet文件格式优化,能够实现更高效的集群资源利用。本文以金融行业200+节点集群为例,分享如何通过基准测试、内存分配策略(如三七定律)和动态资源调整等技术手段,将复杂查询从分钟级优化到秒级响应。这些方法同样适用于电商、物联网等需要实时分析海量数据的场景,其中Spark SQL的AQ

weixin_32597009的博客 43

Spark 3.0实战解析:从RDD到Structured Streaming的避坑与调优指南

大数据处理中,Apache Spark作为核心计算引擎,以其分布式内存计算能力成为离线批处理与实时流计算的主流选择。理解RDD与DataFrame的演进是掌握Spark的关键,RDD提供弹性分布式数据集,DataFrame引入Schema与Catalyst优化器,显著提升执行效率。Shuffle调优是Spark性能优化的重点,合理配置分区数可避免数据倾斜。Structured Streaming基于微批模型,实现秒级实时计算,广泛应用于日志分析与实时报表。本文基于一套Spark 3.0八天实战资料,系统解析

weixin_32181267的博客 200

CDH集群6.3.2 + CM6.3.1离线安装部署实操保姆级详细教程

CDH是一个基于Apache Hadoop的开源软件分发版本,由Cloudera公司开发和维护。CDH提供了统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案,组件包括Hadoop分布式文件系统(HDFS)、分布式计算框架(MapReduce)及其他相关开源组件,如Hive、HBase、Impala等。CDH的目标是简化大数据处理和分析的过程,使企业能够更好地利用大数据来获取洞察力和价值。CM是Cloudera提供的一个集中式管理工具,用于管理和监控CDH集群。

BlogPan的专栏 1万+

Word | 简单可操作的快捷公式编号、右对齐和引用方法

在理工科论文的写作中,涉及到大量的公式输入,我们希望能够按照章节为公式进行编号,并且实现公式居中,编号右对齐的效果。网上有各种各样的方法来实现,操作繁琐和简单的混在一起,让没有接触过公式编号的人感觉比较混乱。笔者自己博览相关博客,亲身实践,总结出一套自认为比较简便的公式编号、对齐和引用方法,在这里分享给大家~

qq_43466146的博客 3万+

缠中说禅交易指南

战胜市场,其实就是战胜自己的贪婪、恐惧、愚蠢,缠中说禅技术分析理论只是把市场拔光给各位看,而拔光一个人并不意味着就等于征服一个人,对于市场,其道理是一样的。不干,不可能征服市场。对于市场来说,干就是一切。技术分析的最终意义不是去预测市场要干什么,而是分析市场正在干什么,是一种当下的直观。在市场上所有的错误都是离开了这当下的直观,用想象、用情绪来代替。 市场是有规律的,但市场的规律并不是显而易见的,是需要严格的分析才能得到。更重要的是,市场的规律是一种动态的,在不同级别合力作用下显示出来的规律,企图用些单纯的

baidu_25764509的博客 2万+

0644-5.16.1-如何在CDH5中使用Spark2.4 Thrift

Fayson的github: https://github.com/fayson/cdhproject 推荐关注微信公众号:“Hadoop实操”,ID:gh_c4c535955d0f 1 文档编写目的 Fayson在前面的文章中介绍过什么是Spark Thrift,Spark Thrift的缺陷,以及Spark Thrift在CDH5中的使用情况,参考《0643-Spark SQL Thrif...

Hadoop_SC的博客 672

护网日志分析基础

简要介绍日志分析,给出日志分析的步骤和思路。要求根据日志中的字符串特征,识别攻击者的攻击工具;根据日志中的行为特征,确定攻击者可能的攻击手段等。总结归纳护网中常见的中间件Tomcat、Apache、Weblogic、Nginx、Apache、IIS、MySQL、SQL Server、Oracle的日志路径和日志配置文件路径等。

m0_59302403的博客 3702

CDH6.2中使用parcel离线安装Phoenix5.0.0

最新的CDH6.2开始就支持Phoenix5的parcel版本了,记录一下安装和使用,我这里使用本地离线安装的方式。 如果需要在CDH5版本安装phoenix4请参考我之前的文章:CDH5.14集群下Phoenix4.14.0安装及性能对比phoenix/impala/hive 官方文档:https://docs.cloudera.com/documentation/enterprise/6/latest/topics/phoenix_installation.html Phoenix的优势: 1.

王义凯 的博客 3741

室内无人机自主定位:融合Mid360激光雷达与光流传感器的无GPS导航实践

本文详细介绍了室内无人机自主定位技术,通过融合Mid360激光雷达与光流传感器实现无GPS导航。文章分析了技术挑战、硬件配置、算法优化及实战调试,展示了在复杂室内环境中如何实现厘米级定位精度,为仓库巡检、隧道勘测等场景提供可靠解决方案。

weixin_30500105的博客 533

yolov11使用记录(训练自己的数据集)

本文介绍了如何安装和使用Ultralytics YOLOv11进行目标检测。首先,通过Anaconda创建并激活虚拟环境,安装必要的依赖库如PyTorch和Ultralytics。接着,从GitHub下载YOLOv11源码,并在PyCharm中配置环境。下载预训练的YOLOv11模型后,通过编写简单的Python脚本进行图片检测,验证环境配置的正确性。最后,文章提到可以基于此环境训练自定义模型。整个过程涵盖了从环境搭建到模型应用的完整流程,适合初学者快速上手YOLOv11。

IT菜鸟 7549
上一篇: Flink 1.19.3 资源配置优先级验证报告
下一篇: k8s+helm部署Milvus和Qdrant向量数据库
wangyutian5u
博客等级 码龄4年 95粉丝 15原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值