Spark基于DPU Snappy压缩算法的异构加速方案

一、总体介绍

1.1 背景介绍

Apache Spark是专为大规模数据计算而设计的快速通用的计算引擎，是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些不同之处使 Spark 在某些工作负载方面表现得更加优越。换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark SQL是Spark的计算模块之一，专门用于处理结构化的数据。Spark SQL允许用户使用标准的SQL语句来执行SQL的查询和读写，也可以使用Hive SQL来执行对Hive仓库的查询和读写。

在Spark作业中，数据通常在内存中进行计算和操作，并且通过网络进行节点间的数据传输。Snappy压缩算法已经被广泛应用于各种大数据处理框架中，并且通常是默认的压缩选项。在Spark系统中，用户无需额外的配置即可使用Snappy压缩算法，这使得它成为Spark处理数据的首选压缩方式之一。

Snappy压缩算法是一种同时具备非常高的压缩速度，和较为合理的压缩率的压缩算法。Snappy压缩具有速度快、占用内存小、通用性强的优点，被广泛应用于大规模数据处理、网络传输、数据库存储、机器学习、图像处理等多个领域。

目前使用Snappy算法进行压缩解压缩的场景全部基于CPU进行，CPU除了需要维持整个计算场景的数据调度，还需要额外的算力进行压缩解压缩计算。CPU作为通用处理芯片，在大数据高密集型的数据计算上并无明显优势，这使得大部分应用场景下基于CPU运算时计算算力成为性能的主要瓶颈。

中科驭数自研的基于KPU架构的DPU芯片作为专用的数据处理芯片，在处理复杂的数据计算时相比于CPU拥有极高的性能提升。因此将Snappy压缩解压缩算法由CPU卸载到DPU，可以极大的提升计算性能。在复杂场景下，CPU专注于数据传递和计算任务调度，DPU专注于压缩解压缩计算。

中科驭数HADOS是一款敏捷异构软件平台，能够为网络、存储、安全、大数据计算等场景进行提速。对于大数据计算场景，HADOS可以认为是一个异构执行库，提供了数据类型、向量数据结构、表达式计算、IO和资源管理等功能。为了发挥CPU与DPU各自的性能优势，我们开发了HADOS-RACE项目，结合HADOS平台，既能够发挥CPU高速稳定的计算调度能力，又可以发挥DPU的向量化执行能力。

我们通过实验发现，Spark读数据的解压和写数据的压缩过程，在耗时上占比比较高，将Snappy压缩解压缩的计算任务通过HADOS-RACE卸载到DPU上, 相比于纯CPU计算，性能可提升约2倍。

本文将简单介绍基于DPU的Snappy压缩解压缩计算原理，并介绍如何基于DPU和HADOS-RACE来加速Snappy压缩解压缩计算，为大规模数据分析和处理提供更可靠的解决方案。

1.2 挑战和困难

在数据处理和传输的领域，快速且高效的压缩算法对于提高系统性能至关重要。然而，尽管Snappy压缩解压缩算法以其快速的压缩和解压缩速度而闻名，但其却存在一个不容忽视的挑战，即对CPU和内存资源的大量占用，从而导致性能下降的问题。

Snappy算法在压缩和解压缩数据时需要进行复杂的计算和处理