LongAccumulator源码分析

最新推荐文章于 2025-05-27 20:12:36 发布
最新推荐文章于 2025-05-27 20:12:36 发布
阅读量218 收藏
点赞数
文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_56149599/article/details/126821530
版权
博客提及查看accumulate方法，与信息技术相关，涉及代码操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

我们查看下这里的accumulate方法

 

 

 

 

青稚774
关注
Spark Task执行流程源码分析系列之四: 任务启动&运行&结果处理
进击的数据小白
11-16 1070
上面几节我们分析了Task的构建和调度，本节我们将聚焦在Task的执行，会涉及到Task是如何启动起来的，具体的不同任务是如何执行的，执行得到的结果是如何处理的。 Task启动 首先我们来看下Task是如何启动的，Driver发送lauchTask消息给Executor，Executor的常驻进程CoarseGrainedExecutorBackend接收到Driver发送来的LaunchTask消息后，会解码任务信息，然后由Executor开始执行任务，Executor会对Task进行封装为TaskR.
bilibili尚硅谷周阳老师JUC并发编程与源码分析课程笔记第八章——原子操作类之18罗汉增强
qq_46601365的博客
02-22 1016
public final int get() //获取当前的值public final int getAndSet(int newValue) //获取当前的值，并设置新的值public final int getAndIncrement() //获取当前的值，并自增public final int getAndDecrement() //获取当前的值，并自减public final int getAndAdd(int delta) //获取当前的值，并加上预期的值。
LongAdder/LongAccumulator类分析
BaseLike的博客
02-02 452
java8，LongAdder原理
java longadder_Java并发编程笔记之LongAdder和LongAccumulator源码探究
weixin_35762553的博客
02-16 227
一.LongAdder原理LongAdder类是JDK1.8新增的一个原子性操作类。AtomicLong通过CAS算法提供了非阻塞的原子性操作，相比受用阻塞算法的同步器来说性能已经很好了，但是JDK开发组并不满足于此，因为非常搞并发的请求下AtomicLong的性能是不能让人接受的。如下AtomicLong 的incrementAndGet的代码，虽然AtomicLong使用CAS算法，但是CAS...
Java并发编程笔记之LongAdder和LongAccumulator源码探究
weixin_33962621的博客
06-07 171
一.LongAdder原理 LongAdder类是JDK1.8新增的一个原子性操作类。AtomicLong通过CAS算法提供了非阻塞的原子性操作，相比受用阻塞算法的同步器来说性能已经很好了，但是JDK开发组并不满足于此，因为非常搞并发的请求下AtomicLong的性能是不能让人接受的。 如下AtomicLong 的incrementAndGet的代码，虽...
JDK12源码分析_04 LongAdder / DoubleAdder、LongAccumulator / DoubleAccumulator、Striped64 源码分析
Java小霸王学习机
04-11 530
JDK12源码分析_04 LongAdder / DoubleAdder、LongAccumulator / DoubleAccumulator、Striped64 源码分析LongAdderDoubleAdderLongAccumulatorDoubleAccumulator LongAdder AtomicLong内部只有一个volatile long value，这种非阻塞的原子操作虽然说相...
Java Review - 并发编程_原子操作类LongAdder & LongAccumulator剖析
热门推荐
小工匠
11-30 2万+
Java Review - 并发编程_原子操作类原理剖析中提到了 AtomicLong通过CAS提供了非阻塞的原子性操作，相比使用阻塞算法的同步器来说它的性能已经很好了，但是JDK开发组并不满足于此。使用AtomicLong时，在高并发下大量线程会同时去竞争更新同一个原子变量，但是由于同时只有一个线程的CAS操作会成功，这就造成了大量线程竞争失败后，会通过无限循环不断进行自旋尝试CAS的操作，而这会白白浪费CPU资源。
Spark:accumulator源码分析
qq_24325581的博客
01-28 299
Spark版本：2.4.0 源代码位置：org/apache/spark/util/AccumulatorV2.scala 源代码如下： 当需要long型累加器时继承如下抽象类 /** * An [[AccumulatorV2 accumulator]] for computing sum, count, and average of 64-bit integers. * * @since 2.0.0 */ class LongAccumulator extends AccumulatorV2[jl
spark2.3源码分析之TaskSetManager
lzf的博客
11-15 790
概述 TaskSetManager调度一个TaskSet内的所有task。它会跟踪每个task，并在task失败时重试直至一定的次数；通过延迟调度为它的TaskSet执行locality-aware调度。TaskSetManager有2个主要的方法： resourceOffer()方法：该方法会判断TaskSet是否想要运行某个task在某个节点上。 statusUpdate()方法：该方法...
LongAdder、LongAccumulator、DoubleAdder、DoubleAccumulator 深入源码解析
键盘上流淌的日子
06-22 8156
  LongAdder、LongAccumulator、DoubleAdder、DoubleAccumulator是JDK1.8提供的针对long和double的累加器实现，依赖于Striped64实现，LongAdder和DoubleAdder只针对数值的增减，LongAccumulator和DoubleAccumulator针对自定义函数的增减。   演示示例：   首先，新建一个线程类，负责模拟多线程环境下，对LongAdder、LongAccumulator、DoubleAdder、DoubleAc
原子操作类使用以及源码分析
m0_71149992的博客
07-07 576
注意：使用 TimeUnit.SECONDS.sleep 让主线程进行阻塞 ，在生产环境中及其不规范 使用CountDownLatch 来解决这个问题
大数据计算框架spark——自定义累加器内部方法作用以及源码分析
newhandnew413的博客
07-24 873
文章目录前言一 累加器的作用二 自定义累加器总结 前言 spark中有三大数据模型RDD、累加器以及广播变量，其中RDD是重中之重，所以后面我会出一系列专门讲解RDD的文章，今天我们说的也是比较重要的累加器 一 累加器的作用 累加器：又叫分布式共享只写变量 可能现在还不是很理解这是什么意思，那么讲解累加器的作用之前我们先来看一个需求： 我们需要将一个集合中的数据求和，我们可以这样求解（下面所有操作都是在idea代码实现的）： val rdd = sc.makeRDD(List(1,2,3,4)) val
Java8 atomic包 源码解析
菜鸟进阶之路
04-07 837
目录 一、AtomicLong 二、AtomicLongArray 三、AtomicLongFieldUpdater 四、LongAdder 1、使用 2、定义 3、add 4、sum /reset /sumThenReset 五、LongAccumulator 六、AtomicMarkableReference 和 AtomicStampedReference ...
jdk1.8 LongAdder源码学习
十二页的博客
03-05 7158
LongAdder是jdk8新增的用于并发环境的计数器，目的是为了在高并发情况下，代替AtomicLong/AtomicInt，成为一个用于高并发情况下的高效的通用计数器。 高并发下计数，一般最先想到的应该是AtomicLong/AtomicInt，AtmoicXXX使用硬件级别的指令 CAS 来更新计数器的值，这样可以避免加锁，机器直接支持的指令，效率也很高。但是AtomicXXX中的 CAS
初识C++：模版
2401_87194328的博客
05-23 825
该博客主要讲解模版的相关内容
springboot--实战--大事件--用户接口开发
最新发布
m0_73856804的博客
05-27 1229
定义了一种简洁的、自包含的格式，用于通信双方以JSON数据格式安全的传输信息。组成：第一部分：Header（头），记录令牌类型、签名算法等。例如,算法用于防篡改第二部分：Payload（有效载荷），携带一些自定义信息，默认信息。例如。而外在表示为一段无规律的64个可打印字符原因：借助base64编码方式（Base64：是一种基于64个可打印字符（A-Z a-z 0-9 + /）来表示二进制数据的编码方式）来完成，将json字符串变为64个可打印字符，
canal实现mysql数据同步
那些乐趣的博客
05-23 1880
1、canal下载进入页面可以选择需要安装的版本下载canal.deployer-1.1.8.tar.gz和canal.admin-1.1.8.tar.gz2、mysql同步用户创建和授权在canal-admin解压文件的conf中有一个canal_manager.sql，导入到master数据库3、canal admin安装和启动把canal.admin-1.1.8.tar.gz上传到linux解压 tar -zvxf canal.admin-1.1.8.tar.gz。
【如何做好一份技术文档？】用Javadoc与PlantUML构建高质量技术文档（API文档自动化部署）
一个XR（AR|VR|MR）程序猿的博客（EQ-雪梨蛋花汤）
05-24 2535
在本指南中，我们将深入探讨如何使用Javadoc和PlantUML工具，围绕Java项目生成专业的类图、流程图与结构化的API文档，并整合成完整的开发流程与快速开始模板，帮助技术团队高效构建可持续维护的知识资产。
Android 14 Binderized HAL开发实战指南（AIDL版）
Deep Lee的专栏
05-23 1638
本文介绍了如何在Android 14中开发Binderized HAL服务，使用AIDL定义接口并实现HAL服务。首先，环境要求包括Android 14源码编译环境、AOSP android-14.0.0_r7分支、Soong构建系统、Java 17和NDK r25c。项目结构分为接口定义、实现层和SELinux策略。实现步骤包括定义AIDL接口、实现HAL服务、编写服务入口代码，并配置构建文件和SELinux策略。最后，通过VINTF配置确保服务在系统中可用，并提供了客户端调用示例。
解释这段代码 def dropNullAndDropDuplicates(spark: SparkSession, df: DataFrame, schema: StructType, dropKeys: Seq[String], duplicateKeys: Array[String]): (LongAccumulator, LongAccumulator, LongAccumulator, DataFrame) = { val schemaFieldNames: Array[String] = schema.fieldNames if (dropKeys.exists(!schemaFieldNames.contains(_)) || duplicateKeys.exists(!schemaFieldNames.contains(_))) { return (null, null, null, null) } val lineCount: LongAccumulator = spark.sparkContext.longAccumulator("lineCount") val trash: LongAccumulator = spark.sparkContext.longAccumulator("trash") val duplicate: LongAccumulator = spark.sparkContext.longAccumulator("duplicate") val df1: DataFrame = df.select( df.columns.map(name => col(name).as(name.trim.toLowerCase)): _* ) val df1FieldNames: Array[String] = df1.schema.fieldNames val df2: DataFrame = { var tmp: DataFrame = df1 schema.fieldNames.filterNot(df1FieldNames.contains).foreach( fieldName => tmp = tmp.withColumn(fieldName, lit(literal = null)) ) tmp.select( schema.fields .map(structField => tmp.col(structField.name).cast(structField.dataType)): _* ) }.withColumn(colName = "index", monotonically_increasing_id()) val df3: DataFrame = df2.filter(row => { lineCount.add(1) if (dropKeys.exists(key => row.get(row.fieldIndex(key)) == null)) { trash.add(1) false } else { true } }) val df4: DataFrame = df3.groupByKey(row => duplicateKeys.map(key => row.get(row.fieldIndex(key)).toString).mkString("-") )(Encoders.STRING).reduceGroups((row1, row2) => { duplicate.add(1) val defect1 = row1.toSeq.count(_ == null) val defect2 = row2.toSeq.count(_ == null) if (defect1 < defect2) row1 else if (defect1 > defect2) row2 else if (row1.getLong(row1.fieldIndex(name = "index")) > row2.getLong(row1.fieldIndex(name = "index"))) row1 else row2 }).map(_._2)(RowEncoder(df3.schema)) .toDF .drop("index") (lineCount, trash, duplicate, df4) }
03-08
函数接受 SparkSession、DataFrame、StructType、Seq[String] 和 Array[String] 五个参数，返回一个元组，包含三个 LongAccumulator 和一个 DataFrame。具体实现过程为：先判断传入的 dropKeys 和 duplicateKeys ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值