为什么spark 1.6之后使用Netty来替代Akka通信库？

最新推荐文章于 2025-10-25 17:06:12 发布
原创 最新推荐文章于 2025-10-25 17:06:12 发布 · 3.7k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自问自答

本文探讨了Akka在消息通信中的局限性，特别是在版本兼容性方面的问题，并介绍了为何选择Netty作为替代方案以提高应用的灵活性。

Akka的底层是使用Netty，尽管Akka能简化消息通信的使用，但使用Akka要求message发送端和接收端有相同的版本（例如spark streaming的receiver接收上游消息要求上游的actor有相同的Akka版本）

由于spark对Akka的使用主要限于RPC和单线程event loop，所以为了避免Akka造成的版本问题，给用户的应用更大灵活性，决定使用更通用的RPC实现，也就是现在的Netty来替代Akka。

文章会同步到公众号，关注公众号，交流更方便：
在这里插入图片描述

Spark面试问题总结
weixin_41367158的博客
03-07 630
在Spark中有两类task，一类是shuffleMapTask，一类是resultTask，第一类task的输出是shuffle所需数据，第二类task的输出是result，stage的划分也以此为依据，shuffle之前的所有变换是一个stage，shuffle之后的操作是另一个stage。但是这里必须要注意的是，在实际的生产环境中，恐怕能够直接用这种策略的场景还是有限的，如果RDD中数据比较多时（比如几十亿），直接用这种持久化级别，会导致JVM的OOM内存溢出异常。如果提交失败了，它将会重试；
大数据技术之_19_Spark学习_06_Spark 源码解析 + Spark 通信架构、脚本解析、standalone 模式启动、提交流程 + Spark Shuffle 过程、内存管理与分配、部署
黑泽君
05-02 1254
大数据技术之_19_Spark学习_06_Spark 源码解析 + Spark 通信架构、脚本解析、standalone 模式启动、提交流程 + Spark Shuffle 过程 + Spark 内存管理与分配 + Spark 部署模式
akka-remote-transport-netty4:netty4 实现的 akka 远程传输
05-30
akka-remote-transport-netty4(deprecated) 一个新的实现基于 akka 流。不是开源的... ##现在只支持 TCP。在 UDP 上没有 SSL 没有 Docker 支持，很快就会添加，文档会在我不那么忙的时候更新。 像这样使用它 akka { remote { startup-timeout = 10 s enabled-transports = ["akka.remote.netty4.tcp"] netty4 { tcp { port = 2554 } } } } } 之前的基准 Starting benchmark of 500000 messages with burst size 5000 and payload
Akka使用netty网络通讯
zsj777的专栏
04-20 930
1、如果在配置文件中是否启用artery，actor的地址会有不同，关闭artery时一定要指定协议为akk.tcp! 比如在配置文件中定义种子节点时： artery.enabled = on seed-nodes = [ "akka://ClusterSystem@127.0.0.1:25251", "akka://ClusterSystem@127.0.0.1:25252"] artery.enabled = off seed-nodes = [ "akka.tcp://Simple
Java中的Actors模型：使用Akka框架构建高弹性、高并发的分布式系统
最新发布
weixin_41455464的博客
10-25 521
Akka框架提供了一套强大的工具，可以帮助我们构建高弹性、高并发的分布式系统。Actors模型通过消息传递实现了并发，Akka在Actors模型基础上提供了构建分布式系统所需的各种功能，例如远程通信、集群和持久化。同时，父Actor可以监控子Actor的状态，并在子Actor失败时采取相应的措施。今天，我们来深入探讨Java中Actors模型，并重点介绍如何利用Akka框架来构建高弹性、高并发的分布式系统。命令时，Actor会将命令的数据持久化到事件日志中，并更新Actor的状态。
图解Spark源码（一）--- Spark 通信架构
qq_21744859的博客
10-23 2873
Spark1.6 之前使用的是 Akka 作为内部通讯组件，Spark1.6 之后将 Akka 换成了 Netty。但是它借鉴了 Akka 中的设计，即 Actor 模型。Spark 是一个分布式计算系统，因此节点间存在很多通信，那么Spark 就会借助这些通讯框架进行RPC 通信。driver 和 master 之间的通信，比如 driver 回向 master 申请计算资源。
Spark为何使用Netty通信框架替代Akka
就问你吃不吃药
02-01 8302
解决方案 一直以来，基于Akka实现的RPC通信框架是Spark引以为豪的主要特性，也是与Hadoop等分布式计算框架对比过程中一大亮点，但是时代和技术都在演化，从Spark1.3.1版本开始，为了解决大数据块（如shuffle）的传输问题，Spark引入了Netty通信框架，到了1.6.0版本，Netty居然完全取代了Akka，承担Spark内部所有的RPC通信以及数据流传输。 网络IO扫盲
What are the differences between Akka and Netty?
weixin_34259232的博客
12-24 222
2019独角兽企业重金招聘Python工程师标准>>> ...
Linux环境Spark安装配置及使用
热门推荐
weixin_33754065的博客
05-07 1万+
Linux环境Spark安装配置及使用 1. 认识Spark (1) Spark介绍 大数据计算引擎 官网：spark.apache.org/ 官方介绍：Apache Spark™ is a unified analytics engine for large-scale data processing.（Apache Spark™是一个用于大规模数据处理的统一分析引擎。） Spark是一种快速...
Spark内核解析-通信架构3(六)
大数据知识梳理
01-04 1196
Spark内核解析-通信架构
Spark：实时数据微批处理（6.Spark内核解析）
weixin_44824495的博客
05-22 518
文章目录1.Spark 内核概述1.1 Spark 核心组件回顾1.1.1 Cluster Manager(Master, ResourceManager)1.1.2 Worker(Worker, NodeManager)1.1.3 Driver1.1.4 Executor1.1.5 Application1.2 Spark 通用运行流程概述 1.Spark 内核概述 Spark 内核泛指 Spark 的核心运行机制 包括 Spark 核心组件的运行机制、Spark 任务调度机制、Spark 内存管理机制、
Spark为何使用Netty通信框架替代Akka(TODO)
justlpf的专栏
06-08 1136
参考文章：Spark为何使用Netty通信框架替代Akka 问题导读： 1. spark 如何在1.6.0之后使用Netty替代了Akka？ 2. Spark Network Common怎么实现？ 3. BlockTransfer 与 Shuffle 之间的联系？ 4. Akka 实现原理是什么？ 解决方案： 一直以来，基于Akka实现的RPC通信框架是Spark引以为豪的主要特性，也是与Hadoop等分布式计算框架对比过程中一大亮点，但是时代和技术都在演化，从Spark1.3.1版本开始，为了
akka和netty在flink和spark中的使用
2501_90468762的博客
02-06 1696
一个本地端点对应一个收件箱，Inbox 里面有一个 InboxMessage 的链表，InboxMessage 有很多子类，可以是远程调用过来的 RpcMessage，可以是远程调用过来的 fire-and-forget 的单向消息 OneWayMessage，还可以是各种服务启动，链路建立断开等 Message，这些 Message 都会在 Inbox 内部的方法内做模式匹配，调用相应的 RpcEndpoint 的函数。每个Actor是一个单一的线程，它不断地从其邮箱中拉取消息，并且连续不断地处理。
【Flink原理和应用】：Flink内部通信组件Netty和Akka的区别
hxcaifly的博客
03-09 7020
1. 引言 Flink内部节点之间的通信是用Akka，比如JobManager和TaskManager之间的通信。而operator之间的数据传输是利用Netty。 Spark用Netty通信框架代替Akka，是不是Akka不好？其实他们各有优缺点。 2. 简单比较 Akka：它是基于协程的，性能不容置疑；基于scala的偏函数，易用性也没有话说，但是它毕竟只是RPC通信。 Netty：相比更加基...
ScalaAKKA和Netty通信框架
互联网知识分享
08-10 593
1.1概述ScalaAKKA是一个用于构建高并发、分布式、可扩展应用的开源工具包。它基于Scala编程语言和Actor模型，并提供了一组高级抽象和易于使用的API，使开发者能够轻松地编写可靠、高性能的并发应用程序。1.2 Actor模型Actor模型是一种并发计算模型，它将计算单元称为"actor"，这些actor通过异步消息传递进行通信。actor之间是完全隔离的，它们之间的通信是通过消息传递进行的。每个actor。
akka入门系列-5. 路由消息
xlchen123456的博客
09-28 1237
5. 路由消息 之前的例子中我们创建和使用的都是单个actor，而一个actor同时只能处理一条消息，这并没有发挥出akka并行计算的优势，我们希望能并行地去处理消息，就像kafka的consumer那样。这就需要使用到akka中的路由了。 路由，和常规理解的一样，当消息到达后，可以按一定的策略，把消息分给路由之后的actor处理。在akka中有2类路由，pool路由和group路由。 pool路由：从名字看，一堆actor都在一个池子里。 group路由：从名字看，一堆actor都属于一个组。 那2个
ZIO项目指南：从Akka迁移到ZIO的全面解析
gitblog_00846的博客
06-10 421
在现代分布式系统开发中，Akka长期以来一直是Scala生态系统中构建高并发、分布式应用的首选框架。然而，随着函数式编程和类型安全的重要性日益凸显，ZIO作为新一代的纯函数式并发编程库，提供了更强大、更安全的替代方案。本文将全面解析如何从Akka平滑迁移到ZIO，涵盖各种常见场景的对应解决方案。 ## 功能对比表 下表展示了Akka主要功能在ZIO中的对应实现： | 功能领域 ...
Akka在运行时对消息进行实时切换处理的特性: become和unbecome
DataFlow范式
01-17 1347
Akka支持在运行时对角色消息循环 (例如它的的实现)进行实时替换: 在角色中调用getContext.become 方法。 热替换的代码被存在一个栈中，可以被pushed（replacing 或 adding 在顶部）和popped。 become一个特别好的例子是用它来实现一个有限状态机。 使用Become/Unbecome特性还可以很方便的实现状态转换机。 实例：Actor运行
Java版Akka-Rpc实现与应用
bossfriday - 个人博客
03-07 2298
Akka框架作为Akka是一个以Actor模型为基础构建的基于事件的并发编程框架，由于Akka框架底层使用Scala语言实现，加之存在一些“月经”问题，因此使用JAVA基于Actor模型去现实了一个RPC，从大致上来说，可以将该RPC认为是一个JAVA版的Akka，不过，在实现的过程中一些处理方式又不尽相同。
Redisson使用Netty框架有哪些通信优势？
08-22
Redisson 是一个基于 Redis 的 Java 客户端，它通过采用 Netty 框架实现了高性能和可扩展的通信能力。Netty 是一个异步事件驱动的网络应用框架，其设计目标是简化网络应用的开发，同时提供高吞吐量和低延迟的网络通信。Redisson 利用 Netty 的特性，获得了以下几方面的通信优势： ### 1. 非阻塞 I/O 模型 Netty 使用非阻塞 I/O 模型，基于 Java NIO（New I/O）实现，能够有效地管理大量的并发连接。这种模型允许 Redisson 在单个线程上处理多个连接请求，从而减少了线程上下文切换的开销，并提高了系统的整体性能[^2]。 ### 2. 高吞吐量与低延迟 由于 Netty 的异步特性，Redisson 能够在高并发场景下保持较高的吞吐量。此外，Netty 提供了高效的内存管理和缓冲机制，如 ByteBuf，这些机制有助于减少垃圾回收的压力并提升数据传输效率，从而进一步降低通信延迟[^3]。 ### 3. 支持多种通信模式 Redisson 利用 Netty 提供的灵活性，支持多种通信模式，包括同步、异步、异步流和管道模式。这种多样性使得 Redisson 能够适应不同的应用场景和性能需求，为开发者提供了更多的选择。 ### 4. 强大的扩展性和可维护性 Netty 的模块化设计和清晰的 API 使得 Redisson 可以轻松地扩展新的功能，而不会影响现有的代码结构。这不仅加快了新功能的开发速度，也简化了维护工作，提高了代码的可读性和可测试性[^1]。 ### 5. 内置的分布式功能 除了基础的通信能力外，Redisson 还利用 Netty 的优势实现了许多高级的分布式功能，如分布式锁、信号量、延迟队列等。这些功能对于构建复杂的分布式系统至关重要，它们能够在不牺牲性能的前提下提供强大的抽象能力[^2]。 ### 6. 高效的资源管理 Netty 提供了高效的资源管理机制，例如连接池和事件循环组，这些机制帮助 Redisson 更好地控制资源消耗，确保在高负载情况下也能稳定运行[^4]。 综上所述，Redisson 通过集成 Netty 框架，不仅提升了自身的通信性能，还增强了其在分布式环境下的适用性和灵活性。这些优势共同构成了 Redisson 成为构建分布式系统的重要工具的基础。 ```java // 示例：使用 Redisson 创建分布式锁 import org.redisson.Redisson; import org.redisson.api.RLock; import org.redisson.config.Config; public class RedissonExample { public static void main(String[] args) { Config config = new Config(); config.useClusterServers() .addNodeAddress("redis://192.168.1.1:6379") .addNodeAddress("redis://192.168.1.2:6379"); Redisson redisson = Redisson.create(config); RLock lock = redisson.getLock("myLock"); try { // 尝试加锁，等待锁的时间为 100 秒，上锁以后 10 秒自动解锁 boolean isLocked = lock.tryLock(100, 10, TimeUnit.SECONDS); if (isLocked) { // 执行业务逻辑 } } catch (InterruptedException e) { Thread.currentThread().interrupt(); } finally { lock.unlock(); } redisson.shutdown(); } } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值