17、大数据图像分析：从执行时间到设计考量

大数据图像分析：从执行时间到设计考量

1. 大数据互操作性与标准相关探讨

NIST 大数据公共工作组（NBD - PWG）主要探讨大数据属性，涵盖大数据定义、分类、用例与需求、安全与隐私、参考架构、标准路线图、参考架构接口以及采用与现代化等方面。自 2010 年估计“全球数据量超过 800 艾字节且持续增长”以来，该工作组的工作催生了诸多解决大数据解决方案互操作性的报告。

2. 大数据图像计算执行时间

2.1 基于响应时间的计算分类

依据图像数据量和速度属性的存储考量，需确定硬件和软件。处理方式分为离线和交互式：
- 交互式计算期望在鼠标点击的时间内（即几秒）完成。
- 离线计算则可能需要几分钟、几小时甚至几天。

这种分类聚焦于对用户输入的响应时间。对于设计用于交互式、探索性分析和图像探索的系统，重要的是：
1. 根据执行时间要求对计算进行分类。
2. 确定满足时间要求的策略。
3. 通过评估计算复杂度来支持所选策略。
4. 收集实际执行时间的测量值以验证系统性能。

2.2 满足执行时间要求

2.2.1 本地与分布式计算

为满足性能要求，分析可在本地计算机或一组分布式计算节点上执行：
- 本地分析 ：数据传输到本地计算机，计算局限于本地桌面。
- 分布式分析 ：数据块分布在多个计算机集群或云节点上，先处理数据块，再将部分结果合并为整体结果。若本地或分布式计算资源有先进硬件，数据需传输到该硬件（如 GPU 或 FPGA 内存）。关键是使大