10、实时空间大数据的数据流分区方法

实时空间大数据的数据流分区方法

1. 引言

近年来，对实时空间数据的需求不断增长。如今，我们所讨论的实时空间大数据需要处理大量的异构数据（可能达到TB级别）。这可能导致实时空间大数据系统过载，许多事务可能错过其截止时间，因为数据检索过程非常耗时。为了加速查询处理，人们提出了许多优化技术，如数据分区。因此，将大表拆分为多个较小的单元是必要的。

数据分区是将逻辑数据库分割成不同的独立单元，应用于大规模数据库以提高数据的响应性、可扩展性和可用性。然而，传统的分区方法并非实时处理过程，在实时空间大数据中遇到了诸多问题：
- 传统分区技术基于已知的表结构，无法对实时空间大数据中的未知数据库进行实时分区。
- 传统分区技术只能处理持久且稳定的工作负载，但实时空间大数据可能会过载，许多事务可能错过截止时间，或者实时空间数据可能被破坏。
- 传统分区技术无法适应实时空间大数据的高吞吐量。

本文研究了传统分区技术的局限性，并提出了一种新的方法来处理实时空间大数据中的流查询。这是对传统垂直分区匹配算法的实现，使用汉明距离来生成聚类。

2. 相关工作

2.1 系统概述

实时空间应用非常重要，这类应用会持续从移动对象（如道路网络中的移动车辆）接收大量的异构数据。实时空间数据的流式特性带来了新的挑战，需要将实时空间大数据与数据流管理系统相结合。

下面介绍异构实时空间数据模型和事务模型：
- 异构实时空间数据模型 ：实时空间应用中存储的数据来自异构源，并以异构格式和结构进行维护。这些数据可分为两类：
- 结构化数据