Spark调优、编码之奇技淫巧！

最新推荐文章于 2021-07-05 16:35:50 发布
最新推荐文章于 2021-07-05 16:35:50 发布
阅读量979 收藏
点赞数
分类专栏： 大数据 文章标签： spark 编码 安全 优化 性能
本文分享了在使用Spark处理大量数据时提升性能及保障稳定性的多种方法。包括避免直接使用join操作，合理设置executor数量和任务细分数以减少shuffle操作，以及在特定情况下选择save而非cache中间结果等。
1.正确使用转换操作，明确何时应该减少shuffle，何时应该增加shuffle。

2.恰当的资源配置，资源配置不当会严重影响作业性能，哪怕你代码上无懈可击。

以上是粗略的小结，具体请看Cloudera的两篇关于Spark调优的博客， How-to: Tune Your Apache Spark Jobs (Part 1)


————————————————————————————————————————————————————————————————————


spark作为一个将大部分中间数据扔在内存里做中间辗转地的分布式框架，为人所熟知的是它优秀灵活的计算能力，但越是灵活的东西越需要一些奇技淫巧。

这里说一些在处理大量数据时一些提速以及安全的方式╮(╯▽╰)╭。

1.join操作。不要用join操作*10086。如果一定需要join完成操作，请用group后再map模拟join操作。这样不仅安全可靠，而且速度有很大提升。distinct同理。

2.这个有人提到了，spark的速度和你设置executor数目和任务细分数相关。由于shuffle操作会将stage切成两段，一个shuffle之前的任务全部结束前后面的任务不会开始，调节一个恰当的executor(可以或略大于被任务整除的数目)数目可以显著提高效率。

3.cache方法和persist方法在对中间数据很大时资源浪费比较大，如果可以建议用save把中间rdd放到hdfs硬盘上。

4.少用shuffle操作，优化的时候尤其注意UI上shuffle write数据量过大的操作，它是导致任务缓慢的最大原因。

5.在可以用reduce解决问题的时候，不要用group。因为reduce会先处理当前节点的所有分片同key进行合并再对不同节点同样的key进行合并，而group会将所有相同的key整合后再处理。对内存的消耗显而易见。

6.注意！由于在用flatmap输出的出参是list。如果list里面放同一个对象非原始类型的多次引用，那么在下一步rdd处理时，它们之间会相互影响，像你在单机内存里一样！即使它们被分到了不同节点！

这个小特性可以完成一些微妙的操作，具体就看使用者了。

————————————————————————————————————————————————————————————————————

在使用Java/Scala的一些“工具类”之前，一定要确认工具类是否是线程安全的。

比如SimpleDateFormat

默认配置通常不理想。设置恰当的worker数量和内存可以减少总体时间。

TOP 5 MISTAKES WHEN WRITING SPARK APPLICATIONS

 
https://spark-summit.org/2016/events/top-5-mistakes-when-writing-spark-applications/

vue有哪些奇技淫巧
日常笔记/总结/系列知识梳理
01-25 462
Vue.js 是一个流行的前端框架，提供了许多有用的特性和技巧。
工具用的好，下班回家早！iTerm2奇技淫巧指南！
java技术分享
01-15 695
同时打开多个终端窗口，来回切换太麻烦！ 能不能像IDEA一样，能够查看历史粘贴记录？ 有没有办法一键登陆服务器？ 工欲善其事，必先利其器！无论工作还是学习，选择好用的工具真的太重要了。今天就给大家介绍一下笔者感觉相见恨晚的工具iTerm2，如果让我说日常开发中好用的工具有哪些，iTerm2必须拥有姓名。 作为经常和Terminal打交道的工程师来说，对于自带的Terminal来说，Windows的命令行最难用，笔者一般使用XShell。入坑Mac后发现大家都在用iTerm2，半年下来感受只有两个字：真香.
Spark编码和参数优化
文报的博客
12-11 588
编码优化： ① RDD复用 ② RDD持久化 ③ 巧用 filter ④ 选择高性能算子 ⑤ 设置合并的并行度 ⑥ 广播大变量 ⑦ Kryo序列化 ⑧ 多使用Spark SQL ⑨ 优化数据结构 ⑩ 使用高性能库 参数优化： ① Shuffle调优 ② 内存调优 ③ 资源分配 ④ 动态资源分配 ⑤ 调节本地等待时长 ⑥ 调节连接等待时长 1 编码的优化 1、RDD复用 避免创建重复的RDD。在开发过程中要注意：对于同一份数据，..
spark RDD进行行转列并且生成唯一标识
qq_33872191的博客
12-12 1505
比如说像这样的一条数据： ("1",Seq("你好","我爱")) 想转化为如下形式： (1,你好) (1,我爱) 直接撸代码：  这里面的转化看懂了么。其实很简单，生成一个List，List((1,你好), (1,我爱))，然后就是wordcount里面使用的flatMap把list打扁生成一个大的list。然后使用zipWithIndex生成一个有序id，一定要collect才会...
Spark SQL 函数
Baron_ND的博客
01-17 1123
Spark API 全集(2):Spark SQL 函数全集 Posted on2018-03-23Edited on2019-02-05Views:2183 Summary org.apache.spark.sql.functions是一个Object，提供了约两百多个函数。 大部分函数与Hive的差不多。 除UDF函数，均可在spark-sql中直接使用。 经过...
Spark Streaming(组件、updateStateByKey、Windows)总结
cjl的博客
10-26 772
Spark Streaming1. SparkStreaming 是什么2. 实时计算框架对比3. Spark Streaming组件4. Spark Streaming 编码实战(无状态)4.1 Spark Streaming编码步骤：4.2 利用Spark Streaming实现WordCount5. Spark Streaming的状态操作5.1 updateStateByKey5.2 案例：updateStateByKey5.3 Windows5.4 案例 windows 1. SparkStrea
解决spark中文乱码
u012893747的博客
06-02 1万+
由于spark在读取文件时的默认编码格式为utf-8，所以spark在处理gbk格式的文件时会出现乱码问题，以下代码则可以解决这一问题import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.hadoop.io.LongWritable import org.apache.hado
Java 8中Stream API的这些奇技淫巧！你Get了吗？
08-25
Java 8 中 Stream API 的奇技淫巧 Java 8 中的 Stream API 是一种功能强大且实用的数据处理工具，能够帮助开发者更高效地处理数据。Stream API 的出现是为了解决 Java 中处理数据的痛点，提供了一种简洁、灵活、...
单片机双字节数乘法运算实验_位操作运算的奇技淫巧！(附源码)
weixin_39633807的博客
11-21 1268
位运算百度百科如下:程序中的所有数在计算机内存中都是以二进制的形式储存的。位运算就是直接对整数在内存中的二进制位进行操作位操作的优势位运算是一种底层的运算，往往比我们普通的运算要快上许多许多位运算是最高效而且占用内存最少的算法操作，执行效率非常高位运算操作的是二进制数，会拥有一些二进制的特性，在实际问题可以方便运用位运算只需较低的空间需求位运算使用能使程序变得更加简洁和优美位运算可以表示...
JavaScript奇技淫巧
最新发布
08-25
《JavaScript奇技淫巧》这一主题深挖了JavaScript在实际应用中的一些高级技巧和独特的使用方法。它不仅仅关注于基础语法和常见模式，而是探索了那些能够使代码更加高效、更加优雅的技巧和方法。 本书深入介绍了函数...
Spark学习--RDD编码
05-09
RDD:弹性分布式数据集(ResilientDistributed Dataset),是Spark对数据的核心抽象。RDD其实是分布式的元素集合。当Spark对数据操作和转换时，会自动将RDD中的数据分发到集群，并将操作并行化执行。 Spark中的RDD是一个不可变的分布式对象集合。每个RDD都倍分为多个分区，这些分区运行在集群中的不同节点。RDD可以包含Python、Java、Scala中任意类型的对象，甚至可以包含用户自定义对象，本文主要通过Java实现相关示例。 Spark程序或shell会话工作流程 1. 从外部数据创建出输入RDD; 2. 使用诸如filter()等这样的转化操作对RDD进行转化，以定义新的RDD; 3. 告诉Spark对需要被重用的中间结果RDD执行persist()操作； 4. 使用诸如first()等这样的行动操作来触发一次并行计算，Spark会对计算进行优化后再执行。 一. 创建RDD Spark提供了两种创建RDD方式： 1. 读取外部数据集，如文件，hive数据库等； 2. 在驱动器程序中对一个集合进行并行化，如list,set等。 方法1是常用方法，其从外部存储中读取数据来创建RDD,如读取文件 方法1创建RDD 方法2其实使用较少，毕竟它需要把整个数据集先放在一台机器的内存中。实现也简单，就是把程序中一个已有集合传给SparkContext的parallelize()方法。二.RDD操作 方法2创建RDD 二. RDD操作 1. RDD支持两种操作： (1) 转化操作，RDD的转化操作是返回一个新的RDD的操作，比如map()和filter。 (2) 行动操作，RDD的行动操作则是向驱动器程序返回结果或把结果写入外部系统的操作，会触发实际的计算，比如count()和first()。 惰性求值：RDD的转化操作是惰性求值的，即在被调用行动操作之前Spark不会开始计算，相反，Spark会在内部记录下索要求执行的操作的相关信息。例如，当我们调用jsc.textFile()时，数据并没有读取进来，而是在必要时才会读取。Spark使用惰性求值，就可以把一些操作合并到一起来减少计算数据的步骤。 2. RDD的基本转化操作 函数名 目的 示例 结果 map() 将函数应用于RDD的每一元素， 将返回值构成新的RDD rdd.map(x=>x+1) {2,3,4,4} flatMap() 将函数应用于RDD的每一元素， 将返回的迭代器的所有内容构成新的RDD. 通常用于切分单词 rdd.flatMap(x=>x.to(3)) {1,2,3,2,3,3,3} filter() 返回一个由通过传给filter()的函数 的元素组成的RDD rdd.filter(x=>x!=1) {2,3,3} distinct() 去重 rdd.distinct() {1,2,3) sample(withReplacement, fraction,[seed]) 对RDD采用，以及是否替换 rdd.sample(false,0.5) 非确定的 对一个数据为{1,2,3,3}的RDD进行基本的RDD转化操作 函数名 目的 示例 结果 union() 生成一个包含两个RDD 中所有元素的RDD rdd.union(other) {1, 2, 3, 3, 4, 5} intersection() 求两个RDD 共同的元素的RDD rdd.intersection(other) {3} subtract() 移除一个RDD 中的内容（例如移除训练数据） rdd.subtract(other) {1, 2} cartesian() 与另一个RDD 的笛卡儿积 rdd.cartesian(other) {(1, 3), (1, 4), ...(3, 5)} 对数据分别为{1, 2,3}和{3, 4, 5}的RDD进行针对两个RDD的转化操作 3. RDD的基本执行操作 函数名 目的 示例 结果 collect() 返回RDD 中的所有元素 rdd.collect() {1, 2, 3, 3} count() RDD 中的元素个数 rdd.count() 4 countByValue() 各元素在RDD 中出现的次数 rdd.countByValue() {(1, 1),(2, 1),(3, 2)} take(num) 从RDD 中返回num 个元素 rdd.take(2) {1, 2} top(num) 从RDD 中返回最前面的num个元素 rdd.top(2) {3, 3} takeOrdered(num) (ordering) 从RDD 中按照提供的顺序返回最前面的num 个元素 rdd.takeOrdered(2)(myOrdering) {3, 3} takeSample(withReplacement, num, [seed]) 从RDD 中返回任意一些元素 rdd.takeSample(false, 1) 非确定的 reduce(func) 并行整合RDD 中所有数据（例如sum） rdd.reduce((x, y) => x + y) 9 fold(zero)(func) 和reduce() 一样， 但是需要提供初始值 注意:不重复元素加初始值，重复元素只加一个 rdd.fold(0)((x, y) => x + y) 9 aggregate(zeroValue) (seqOp, combOp) 和reduce() 相似， 但是通常返回不同类型的函数 注意:不重复元素加初始值，重复元素只加一个 rdd.aggregate((0, 0))((x, y) => (x._1 + y, x._2 + 1),(x, y) => (x._1 + y._1, x._2 + y._2)) (9,4) foreach(func) 对RDD 中的每个元素使用给定的函数 rdd.foreach(func) 无 对一个数据为{1, 2,3, 3}的RDD进行基本的RDD行动操作 4. 标准Java函数接口 在Java中，函数需要作为实现了Spark的org.apache,spark.api.java.function包中的任一函数接口的对象传递。 函数名 实现的方法 用途 Function<T, R> R call(T) 接收一个输入值并返回一个输出值，用于类似map() 和filter() 等操作中 Function2<T1, T2, R> R call(T1, T2) 接收两个输入值并返回一个输出值，用于类似aggregate()和fold() 等操作中 FlatMapFunction<T, R> Iterable<R> call(T) 接收一个输入值并返回任意个输出，用于类似flatMap()这样的操作中 标准Java函数接口 5. Java中针对专门类型的函数接口 函数名 等价函数 用途 DoubleFlatMapFunction<T> Function<T, Iterable<Double>> 用于flatMapToDouble，以生成DoubleRDD DoubleFunction<T> Function<T, Double> 用于mapToDouble，以生成DoubleRDD PairFlatMapFunction<T, K, V> Function<T, Iterable<Tuple2<K, V>>> 用于flatMapToPair，以生成PairRDD<K, V> PairFunction<T, K, V> Function<T, Tuple2<K, V>> 用于mapToPair， 以生成PairRDD<K, V> Java中针对专门类型的函数接口 三. 示例 本节将通过示例的方式验证第二节中相关的转化操作和行动操作。 转化和行动计算结果 代码地址： 参考文献： 王道远 《Spark 快速大数据分析》
大数据之sparkStreaming（二）：Spark Streaming编码实践
汪雯琦的博客
03-15 887
文章目录2、Spark Streaming编码实践 2、Spark Streaming编码实践 Spark Streaming编码步骤： 1，创建一个StreamingContext 2，从StreamingContext中创建一个数据对象 3，对数据对象进行Transformations操作 4，输出结果 5，开始和停止 利用Spark Streaming实现WordCount 需求：监听某...
Spark SQL内置函数
admin_15082037343的博客
03-11 3992
Spark版本号：2.4.3，Spark SQL命令行输入 show functions; 示例 abs：取绝对值 > select abs(-10); +------+ | _c0 | +------+ | 10 | +------+ acos：反余弦函数 > select acos(0.5); +---------------------+ | ...
spark的conf常用配置
m0_46142780的博客
12-22 2300
.set(“spark.rdd.compress”, “true”) //rdd压缩 .set(“spark.sql.shuffle.partitions”, “200”) //shuffle分区(sql) .set(“spark.default.parallelism”, “200”) //shuffle分区 .set(“spark.sql.auto.repartition”, “true”) //开启自动分区 .set(“spark.executor.userClassPathFirst”, “true
spark读取、保存.csv文件、并指定编码格式
qq_56870570的博客
07-05 1万+
一、用spark实现读取csv文件 核心代码： val spark = SparkSession .builder() .master("local[*]") .appName("app") .getOrCreate() //读取文件 //方式一： val srcDF = spark .r
Spark 处理中文乱码问题（UTF-8编码）
热门推荐
Amber_amber的专栏
12-03 3万+
问题场景 要用spark处理一大堆微信日志数据，日志存放在HDFS上，是xml格式，里面有大量的中文。用scala + java实现了xml的处理逻辑，其中有一步是要获取xml中的一个title字段，中文。不管怎么抓取，最终得到的中文都会变成一堆“？？？？？”，乱码了。从xml中获取非中文字段，没有任何问题。也就是说，代码的逻辑是没什么问题的。
spark 中文编码处理
weixin_30709929的博客
06-09 952
日志的格式是GBK编码的，而hadoop上的编码是用UTF-8写死的，导致最终输出乱码。 研究了下Java的编码问题。 网上其实对spark输入文件是GBK编码有现成的解决方案，具体代码如下 import org.apache.hadoop.io.LongWritable import org.apache.hadoop.io.Text import org.apache....
spark如何读入GBK编码文件解决办法
踩坑小王子
12-11 5692
问题描述 初学大数据处理框架 spark ,在读入实验的数据时,遇到了经典的字符编码问题 实验环境: os:ubuntu 18.04 spark: version 2.4.0 使用spark读入的文件编码是 gbk,大小是10Gb 根据spark的文档介绍,使用的函数是 SparkConf conf = new SparkConf().setAppName("first").setMaster...
Spark之DataFrame通过编码创建
young_so_nice的博客
06-06 4682
在某些情况下，我们不能通过反射的方式创建DataFrame，（反射在记录在一个字符串编码的结构和文本数据集将被解析和字段预计给不同的用户不能使用。）但是我们可以用编码的方式创建。 一，文件准备： 可以参考上一篇博客的文件。二，过程解析： 1，创建对应数据的编码. 2,对应的编码添加到格式化字段list中。 3，创建好模式类型。 4，将数据文件解析，然后以RD
Vue3 奇技淫巧
04-30
另外，响应式方面，使用shallowRef和markRaw来优化性能，避免不必要的响应式追踪，这也是高级用法之一。 还要考虑到组件通信的高级方法，比如使用provide/inject结合Symbol作为键，确保注入的安全性。另外，模板...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值