19、大数据图像分析中的存储、表示与并行计算模型

大数据图像分析中的存储、表示与并行计算模型

1. 大数据图像分析设计概述

在大数据分析解决方案的设计中，关于大数据图像的存储和表示有许多决策，这些决策会影响图像内容的访问效率。对于一组特定的大数据图像分析，若有明确的图像内容访问模式，就有可能对设计进行优化。给定硬件规格（如RAM、磁盘和总线），可以在像素字节、图像、文件和磁盘存储布局以及数据结构等方面确定最佳参数。

然而在实际应用中，预测图像内容的访问模式和预期使用的硬件是很困难的。这种不可预测性虽然能解释图像分析软件性能不佳的原因，但也凸显了在进行软件设计决策时，考虑应用需求和使用模式的重要性。

2. 大数据软件开发面临的问题

大数据软件开发必须解决以下三个问题：
1. 算法设计以实现自动化处理 ：设计合适的算法，使数据处理过程能够自动进行。
2. 将异构算法集成到软件系统中 ：充分利用现有的软件投资，把不同类型的算法整合到一个软件系统中。
3. 算法实现与软硬件集成 ：将软件与分布式硬件资源进行有效集成，这也是并行计算研究的主题。

3. 并行计算基础

加速大数据图像计算的基本前提是：
- 图像可以被分割成较小的图块。
- 计算可以被分解成较小的功能任务，然后并行应用于这些较小的图像图块（即图像数据和功能分解）。

并行执行通过利用多个计算资源来加速计算，但同时也需要额外的硬件资源，并需要编写特定于硬件架构的软件。

4. 并行编程模型分类