29、分析查询处理的即时数据分发

分析查询处理的即时数据分发

1. 引言

数据密集型研究强调了轻松共享大量数据以及在几乎没有技术障碍的情况下进行分析探索的需求。传统的分布式数据库系统并不适合这些任务，因为它们的数据分区方法通常需要在查询处理之前定义和安装分区，这导致了一种相当静态的方法，即专用服务器托管预定义的数据库分区。

近年来，分布式计算的趋势推动了适用于云环境的数据库发展，但云托管的分布式系统的数据分布基本机制并未改变，仍需在查询处理前定义范围或哈希分区。对于许多中小型分析应用来说，利用大多数组织中已安装的小规模集群就足以灵活使用非专用资源，而无需扩展到千节点的云解决方案。

本文提出了 MonetDB/Octopus 架构，它能在非专用资源上提供灵活的分布式查询处理，支持完整的 SQL 查询表达能力。该架构的名称“Octopus”源于其围绕主/从分布式执行范式组织的服务器共生关系。主节点（章鱼的头部）控制数据库并协调查询处理，将子查询执行委托给可用的工作节点（章鱼的触手）。数据通过即时（JIT）方式发送到工作节点，并使用回收器机制存储在其缓存中。运行时调度器根据最新状态信息在触手上分配子查询。

本文的主要贡献包括：
1. 基于实际工作负载的即时部分数据分发。
2. 能够利用可用非专用服务器的自适应分布式查询处理。
3. 根据查询特定信息和可用资源在集中式和分布式执行之间进行灵活查询优化。
4. 一种自主且简单的方案，使站点能够加入章鱼共生关系以支持分布式处理。
5. 基于远程服务器精确状态信息的分布式查询计划调度。

实验表明，MonetDB/Octopus 架构是一种可行且低门槛的方法，可通过使用可用的非专用工作节点提