我们知道Spark 在大数据领域处理速度在同等条件下的Hadoop 的100倍
云计算的三种服务模式
Iaas : infrastructure as a Service 基础设置
Paas : platform as a service
saas : sowrware as a service
是否可以把Spark 部署在云计算以达到超大算力???? 偶然的一个机会使我结识一位UCloud 的一位朋友,他向我介绍了他们用的基础设施 RDMA ,我突发奇想是否可以把它用在Spark 上。以下是我的个人初步理解,后续在慢慢的补上
RDMA(Remote Direct Memory Access)技术全称远程直接内存访问,是一种直接内存访问技术,它将数据直接从一台计算机的内存传输到另一台计算机,无需双方操作系统的介入。这允许高通量、低延迟的网络通信
以上是传统 TCP Socket 数据传输
RMDA 技术 将以上的socket 进一步提升
RDMA明显的优势:
- 直接硬件接口(Direct hardware interface),绕过内核和 TCP / I