Spark+RDMA 技术

本文探讨了如何利用RDMA技术提高Spark在云计算环境中的处理速度,特别是针对Shuffle作业。RDMA允许直接内存访问,实现亚微秒延迟,相比传统的TCP Socket通信有显著优势。实验表明,使用RDMA进行Spark Shuffle可以提升2.18倍的效率。要使用SparkRDMA,需要Spark 2.0.0及以上版本、Java 8以及ROCE或Infiniband网络支持。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

我们知道Spark 在大数据领域处理速度在同等条件下的Hadoop 的100倍

云计算的三种服务模式

Iaas : infrastructure as a Service 基础设置

Paas : platform as a service

saas : sowrware as a service

是否可以把Spark 部署在云计算以达到超大算力????  偶然的一个机会使我结识一位UCloud 的一位朋友,他向我介绍了他们用的基础设施 RDMA ,我突发奇想是否可以把它用在Spark 上。以下是我的个人初步理解,后续在慢慢的补上

 

RDMA(Remote Direct Memory Access)技术全称远程直接内存访问,是一种直接内存访问技术,它将数据直接从一台计算机的内存传输到另一台计算机,无需双方操作系统的介入。这允许高通量、低延迟的网络通信

以上是传统 TCP Socket 数据传输

 

RMDA 技术 将以上的socket 进一步提升

 

 RDMA明显的优势:

  • 直接硬件接口(Direct hardware interface),绕过内核和 TCP / I
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值