70、分布式系统与云的性能解析

分布式系统与云的性能解析

在当今数据驱动的时代，大数据的产生和处理成为了关键议题。同时，不同的计算系统在性能表现上也各有特点。本文将深入探讨大数据来源、不同计算系统的差异以及相关的性能指标和服务质量评估。

大数据来源

在当今数据驱动的世界里，大数据源无处不在。从科学领域来看，天文学、基因组学、自然语言处理和地震建模等应用都会产生庞大的数据库。此外，扫描书籍、报纸和历史文献也在不断汇聚成数据的海洋。在商业方面，企业销售、股票市场交易、人口普查数据和航空交通数据等，每天都需要处理大量的数据集。娱乐和医学领域同样也是大数据的重要来源。

下面通过两个具体例子来说明：
- 沃尔玛数据仓库 ：沃尔玛在全球拥有6000家门店，其供应链涉及超过10000家制造商。每天，沃尔玛销售2.67亿件商品。惠普帮助沃尔玛建立数据中心，每天处理4PB的数据。沃尔玛需要进行数据密集型可扩展计算（DISC），以进行数据挖掘、管理供应链、了解市场趋势和制定定价策略。
- 斯隆数字巡天 ：位于新墨西哥天文台的望远镜每天捕获200GB的图像数据。其最新数据集包含了关于2.87亿个外太空物体的10TB数据。斯隆使用SkyServer持续提供类似DISC的数据处理SQL访问。

为了构建DISC系统来处理这些海量数据，必须解决处理管道狭窄的问题。多核心GPU的使用为在这些DISC应用中利用大规模数据级并行性提供了可能的解决方案。虽然云计算与超级计算机相比可能速度较慢，但通过大量数据中心的协同工作，可以实现大规模并行性。

DISC系统与超级计算机的对比

DISC系统和