yusur的博客

如何利用DPU加速Spark大数据处理？

关注

文章平均质量分 93

中科驭数采用软硬件结合方式，无侵入式的集成Apache Spark，并在Spark数据计算全链路的三大方面——数据加载、离线计算、数据传输——都进行了全面提升和加速。

关注数：文章数：1 文章阅读量：1292 文章收藏量：13

作者: 中科驭数

专注于数据处理器设计研发

展开

如何利用DPU加速Spark大数据处理？ | 总结篇

近年来，随着存储硬件的革新与网络技术的突飞猛进，如NVMe SSD和超高速网络接口的普及应用，I/O性能瓶颈已得到显著改善。然而，在2020年及以后的技术背景下，尽管SSD速度通过NVMe接口得到了大幅提升，并且网络传输速率也进入了新的高度，但CPU主频发展并未保持同等步调，3GHz左右的核心频率已成为常态。

原创 2024-04-02 13:46:32 · 1292 阅读 · 0 评论