27、公共云提供商中大数据地理空间数据处理的成本分析

公共云提供商中大数据地理空间数据处理的成本分析

1 引言

随着地理信息系统（GIS）软件的发展和广泛使用，产生了海量的地理空间数据，即大地理空间数据。其具有 5V 特征：
- 多样性（Variety）：数据类型多样，超 80%为非结构化形式。
- 大量性（Volume）：每秒产生的数据量巨大。
- 高速性（Velocity）：新数据产生速度快。
- 真实性（Veracity）：数据的可信度。
- 价值性（Value）：数据对业务的重要性。

云计算为大数据处理提供了合适的平台，用户能快速获取和释放计算资源。为处理大地理空间数据，出现了一些方法，其中 Apache Hadoop 较为有效，它采用分治（Map 和 Reduce）方法进行分布式计算。

然而，大地理空间数据的存储和处理需要大量资源，公共云提供商按使用量收费，因此衡量在公共云提供商中处理大数据的成本是主要挑战。本文旨在提出一种经济高效的方法，根据数据集大小优化 SpatialHadoop 集群中的数据节点数量，以分析和比较公共云提供商处理此类应用的成本。

2 空间云计算

空间云计算由地理空间科学驱动，通过时空原则优化，旨在分布式计算环境中实现地理空间科学发现和云计算。它能满足地理空间数据密集、计算密集、并发访问密集和时空密集的计算需求。

空间云计算可克服计算基础设施的挑战：
- 支持数据发现、访问、使用和处理，让科学家和工程师专注于科学发现。
- 提供实时 IT 资源，支持实时应用，如应急响应。
- 应对访问高峰。
- 为大量并发用户提供高度可靠和可扩展的服务，推动公共知识