58、多核系统在大数据计算中的应用与发展

多核系统在大数据计算中的应用与发展

1. 引言

大数据时代对计算性能和效率提出了极高的要求，多核架构凭借其并行计算能力成为了大数据计算的重要解决方案。然而，多核系统在硬件、软件、编程模型等方面都面临着诸多挑战，本文将深入探讨多核系统在大数据计算中的相关问题。

2. 硬件相关问题

2.1 内存技术

目前有一些新型内存技术，如自旋转移矩随机存取存储器（spin - transfer torque RAM）、电阻式随机存取存储器（ReRAM）和3D Xpoint等。但与传统DRAM相比，它们在性能、成本和/或能耗方面存在明显劣势。

2.2 内存一致性

内存一致性是多核架构可扩展性的一大挑战。多核处理器直观的共享内存结构扩展性较差，因为每个核心的私有缓存都需要保持最新状态。消息传递方式在分布式系统中效果较好，但在单系统中进行数据共享时成本较高。为解决此问题，人们采用了多种技术：
- 远程存储编程 ：可以向远程内存写入数据，但不能读取。
- 页面映射 ：将页面一次仅映射到一个缓存，以减少开销。
- 限制一致性范围 ：将一致性限制在整个核心的可编程子集内。
- 交换内存操作 ：在内存中直接实现增量等操作，而不是将数据调入缓存、读取再写入，以提高可扩展性。

2.3 片上网络

系统的扩展性不仅受核心性能和内存技术的影响，片上互连在通信、能耗和芯片面积之间存在权衡。
-