Spark性能调优系列目录

最新推荐文章于 2023-07-31 14:37:08 发布
原创 最新推荐文章于 2023-07-31 14:37:08 发布 · 置顶 · 815 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

Spark性能调优系列目录：

普通调优

Jvm调优

shuffle调优

  • shuffle 调优之原理概述
  • shuffle 调优之合并map端的输出
  • shuffle 调优之条件map端内存缓存与reduce端内存占比
  • Shuffle 调优之 HashShuffleManager 和 SortShuffleManager

算子调优

  • 算子调优之MapPartitions提升Map类操作性能
  • 算子调优之filter过后使用coalesce减少分区数量
  • 算子调优之使用foreachPartition优化写数据库性能
  • 算子调优之使用repartition解决Spark SQL低并行度的性能问
  • 算子调优之reduceByKey本地聚合介绍
Spark性能调优系列：Spark-JVM调优
Mr.Cao
12-27 886
Spark-JVM调优 Spark发生垃圾回收的原理 Spark任务运行时会在executor里面不断的创建对象，当JVM存不下对象时，会触发JVM的垃圾回收（GC => grabage Collector），垃圾回收就是把不需要的对象给清除。 如果内存中数据量比较大，那么可能会频繁的发生GC，而GC操作本身比较耗费性能，如果还频繁发生，那么对Spark作业性能造成很大的影响。此...
Spark性能调优
11-18
### Spark性能调优详解 #### 一、引言 随着大数据技术的发展，Apache Spark作为一款通用的大数据分析引擎，因其高效的数据处理能力而受到广泛青睐。然而，在实际应用中，为了充分发挥Spark的优势，对其进行合理的...
Spark性能调优-总结分享
shieh的专栏
08-01 7249
1、Spark调优背景 目前Zeppelin已经上线一段时间，Spark作为底层SQL执行引擎，需要进行整体性能调优，来提高SQL查询效率。本文主要给出调优的结论，因为涉及参数很多，故没有很细粒度调优，但整体调优方向是可以得出的。 环境：服务器600+，spark 2.0.2，Hadoop 2.6.0 2、调优结果 调优随机选取线上9条SQL，表横轴是调优测试项目，测试在集
sql优化ppt_Spark优化 | Spark 3.0 中七个必须知道的 SQL 性能优化
weixin_39598135的博客
12-08 149
本文来自IBM 东京研究院的高级技术人员 Kazuaki Ishizaki 博士在 Spark Summit North America 2020 的 《SQL Performance Improvements at a Glance in Apache Spark 3.0》议题的分享，本文视频参见今天的推文第三条。PPT请关注过往记忆大数据并后台回复 sparksql3获取。Sp...
Spark性能调优系列：Shuffle调优
Mr.Cao
12-03 742
Spark性能调优系列：Shuffle调优 shuffle 大部分的Spark作业性能主要是shuffle过程的消耗，shuffle是从Map Task输出到Reduce Task输入这段中间过程，Reduce Task需要从其它节点上的Map Task拉取结果数据，因此shuffle过程包含大量的磁盘IO，序列化，网络数据传输等操作。 Spark中常用算子中会触发shuffle操作的算子：...
Spark性能调优指南来了！
笑看风云路的博客
07-31 3984
Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(，简称RDD)的API定义。Spark SQL：是Spark用来操作结构化数据的程序包。通过Spark SQL，我们可以使用SQL或者版本的HQL来查询数据。Spark SQL支持多种数据源，比如Hive表、Parquet以及JSON等。本文首先讲解了Spark的底层的Shuffle。
Spark性能调优系列：数据本地化
Mr.Cao
10-31 402
Spark数据本地化 背景： 数据本地化对于Spark Job性能有着巨大的影响，如果数据以及要计算它的代码是一起的，那么性能当然会非常高。但是如果数据与计算它的代码是分开的，那么其中之一必须到另外一方机器上，通常来说，移动代码到其它节点，会比移动数据到代码所在的节点上，速度要快的多。 因为代码较小，Spark也正是基于这个数据本地化的原则来构建Task调度算法的。 数据本地化：数据离计算它...
Spark性能调优系列：Spark资源模型以及调优
Mr.Cao
12-18 468
Spark资源模型 Spark内存模型 Spark在一个Executor中的内存分为三块，execution内存、storage内存、other内存。 execution内存是执行内存，join、aggregate都在这部分中执行，shuffle的数据也会先缓存在这个内存中，满了再写入磁盘，能够减少IO，Map过程也是在这个内存中执行的。（0.25） storage内存是存储broad...
Spark性能调优系列：Spark参数配置大全（官网资料）
Mr.Cao
12-18 4934
Spark参数配置大全 Spark提供了三个位置来配置系统 Spark属性控制大多数应用程序参数，可以使用SparkConf对象或Java系统属性来设置。 通过conf/spark-env.sh每个节点上的脚本，环境变量可用于设置每台计算机的设置，例如IP地址。 可以通过配置日志log4j.properties。 Spark属性 Spark属性控制大多数应用程序设置，并分别为每个应用...
Spark 性能调优
TiDB 社区干货传送门
08-11 525
作者： Billmay 原文来源： https://tidb.net/blog/5957fd9e ...
spark性能调优的几大原则
09-26
### Spark性能调优的核心原则详解 #### 一、引言 在大数据处理领域，Apache Spark因其高效、易用的特点成为了主流工具之一。然而，随着业务规模的不断扩大和技术需求的日益复杂，Spark作业的性能问题逐渐凸显。...
spark性能调优系列：spark参数配置大全（官网资料）
06-28
以下是关于Spark性能调优系列的回答： Spark性能调优是一个非常重要的话题，它可以帮助我们更好地利用Spark的优势，提高我们的数据处理效率。在Spark中，参数配置是非常重要的一环，因为它可以直接影响到Spark的...
最近经历的一些大数据（Spark/Hadoop）面试题
热门推荐
coderlaw's study
01-18 4万+
公司A： 1.讲讲你做的过的项目。 项目里有哪些 难点重点注意点呢？ 2.讲讲多线程吧， 要是你，你怎么实现一个线程池呢？ 3.讲一下Mapreduce或者hdfs的原理和机制。map读取数据分片。 4.shuffle 是什么？ 怎么调优？ 5.项目用什么语言写？ Scala？ Scala的特点？ 和Java的区别？ 6.理论基础怎么样，比如数据结构，里面的
Spark 之DataFrame与RDD 转换
coderlaw's study
08-30 2万+
DataFrame可以从结构化文件、hive表、外部数据库以及现有的RDD加载构建得到。具体的结构化文件、hive表、外部数据库的相关加载可以参考其他章节。这里主要针对从现有的RDD来构建DataFrame进行实践与解析。Spark SQL 支持两种方式将存在的RDD转化为DataFrame。 第一种方法是使用反射来推断包含特定对象类型的RDD的模式。在写Spark程序的同时，已经知道了模式，这种
Spark的广播和累加器的使用
coderlaw's study
07-17 1万+
广播和计数器的解释1.1 广播： 广播变量允许程序员将一个只读的变量缓存在每台机器上，而不用在任务之间传递变量。广播变量可被用于有效地给每个节点一个大输入数据集的副本。Spark还尝试使用高效地广播算法来分发变量，进而减少通信的开销。 Spark的动作通过一系列的步骤执行，这些步骤由分布式的洗牌操作分开。Spark自动地广播每个步骤每个任务需要的通用数据。这些广播数据被序列化地缓存，在运行任务
Neither spark.yarn.jars nor spark.yarn.archive is set
coderlaw's study
01-13 9770
每次提交spark任务到yarn的时候，总会出现uploading resource（打包spark jars并上传）到hdfs上。恶劣情况下，会在这里卡住很久。17/01/13 17:21:47 INFO Client: Preparing resources for our AM container 17/01/13 17:21:47 WARN Client: Neither spark.yar
Spark自定义累加器的实现
coderlaw's study
08-08 8691
1.为什么要使用自定义累加器前文讲解过spark累加器的简单使用：http://blog.youkuaiyun.com/lxhandlbb/article/details/51931713但是若业务较为复杂,需要使用多个广播变量时，就会使得程序变得非常复杂，不便于扩展维护，因此可以考虑自定义累加器。2.怎么使用自定义累加器Java版本：package com.luoxuehuan.sparkproject.sp
遇到的Spark的坑
coderlaw's study
02-21 7114
spark 写入hive出错。 mysql驱动版本低。https://datameer.zendesk.com/hc/en-us/articles/204262140-Hive-Jobs-Fail-with-com-mysql-jdbc-exceptions-MySQLSyntaxErrorExceptionspark写入Hive找不到表16/12/21 17:57:36 INFO SparkSql
Spark Streaming开发入门——WordCount（Java&Scala）
coderlaw's study
04-21 7061
一、Java方式开发1、开发前准备假定您以搭建好了Spark集群。2、开发环境采用eclipse maven工程，需要添加Spark Streaming依赖。3、Spark streaming 基于Spark Core进行计算，需要注意事项： 设置本地master，如果指定local的话，必须配置至少二条线程，也可通过sparkconf来设置，因为Spark Streaming应用程序在运行的时
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值