大规模分布式系统概念介绍

大规模分布式计算概念

1、分布式计算
分布式计算：研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。

分布式计算比起其它算法具有以下几个优点：稀有资源可以共享；通过分布式计算可以在多台计算机上平衡计算负载；可以把程序放在最适合运行它的计算机上，其中，共享稀有资源和平衡负载是计算机分布式计算的核心思想之一。

2、并行计算
并行计算（Parallel Computing）是指同时使用多种计算资源解决计算问题的过程，是提高计算机系统计算速度和处理能力的一种有效手段

并行计算可分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发地执行计算

为利用并行计算，通常计算问题表现为以下特征：
1）将工作分离成离散部分，有助于同时解决；
2）随时并及时地执行多个程序指令；
3）多计算资源下解决问题的耗时要少于单个计算资源下的耗时

空间上的并行导致了两类并行机的产生，分为：
单指令流多数据流（SIMD）
多指令流多数据流（MIMD）

常用的串行机也叫做单指令流单数据流（SISD）

MIMD类的机器又可分为以下常见的五类：
并行向量处理机（PVP）
对称多处理机（SMP）
大规模并行处理机（MPP）
工作站机群（COW）
分布式共享存储处理机（DSM）

并行计算机有以下五种访存模型：
均匀访存模型（UMA）
非均匀访存模型（NUMA）
全高速缓存访存模型（COMA）
一致性高速缓存非均匀存储访问模型（CC-NUMA）
非远程存储访问模型（NORMA）

3、云计算
云计算（cloudcomputing）是基于互联网相关服务的增加、使用和交互模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。

云计算是一种理念，实际上是分布式技术+服务化技术+资源隔离