9、数据库中协处理处理单元的自动选择

数据库中协处理处理单元的自动选择

在数据库领域，随着硬件技术的不断发展，GPU 和 FPGA 等专用处理单元为加速数据库操作带来了新的机遇。这些单元能够利用并行性，减轻 CPU 的负担，但要高效利用它们并非易事。开发者不仅要找到细粒度的数据并行算法并针对可用硬件进行调优，还需要在运行时决定选择哪个（协）处理器来执行特定任务。错误的决策可能会导致严重的性能下降，因为引入协处理器会带来显著的开销，如数据传输。本文将介绍一个自动学习和适应执行模型的框架，以找到收支平衡点并支持调度决策，同时探讨其在数据库系统中的三个常见用例。

1. 协处理器在数据库系统中的挑战

GPU 和 FPGA 等处理单元为数据库处理提供了强大的并行计算能力。然而，将算法适配到 GPU 上通常面临两个主要挑战：
- 细粒度并行化 ：GPU 架构要求计算任务进行细粒度的并行化。例如，Nvidia 的 Fermi GPU 由多达 512 个线程处理器组成，它们以单指令多数据（SIMD）的方式并行运行，即在不同的输入分区上执行相同的指令，或者在不同分支处闲置。
- 数据传输开销 ：在 GPU 上处理数据需要在主机的主内存和 GPU 的 VRAM 之间进行数据传输。根据每个算法的计算复杂度与 I/O 数据量的比率，这种复制开销可能会对性能产生严重影响。

因此，并非总是能够从 GPU 或其他协处理器支持的大规模并行处理中受益。即使实现了高效的并行化，也需要找到计算加速超过可能开销的收支平衡点。为了解决这个调度决策问题，系统必须能够根据可用硬件、数据量和分布以及系统实际部署时的负载，生成精确的总处理成本估计。