大数据-分布式计算

分布式计算：

集中式计算（通过不断增加处理器的数量来增强单个计算机的计算能力）

分布式计算（把一组计算机通过网络相互连接组成分散系统，然后将需要处理的大量数据分散成多个部分，交由分散系统内的计算机组同时计算，最后将计算结果合并得到最终结果）

 

Google（非开源）：

MapReduce 分布式计算框架

GFS（Google File System） 分布式文件系统

BigTable 基于GFS的数据存储系统

 

Hadoop的衍生（开源）：

MapReduce 分布式计算框架

HDFS 分布式文件系统

 

主流的三大分布式计算系统：Hadoop Spark Storm

1.Storm不同于Hadoop和Spark，其不进行数据的收集和存储工作，直接通过网络实时的接受数据并且实时的处理数据，然后直接网络实时的传回结果

2.Hadoop常用于离线的复杂大数据处理；Spark用于离线的快速大数据处理；Storm用于在线的实时大数据处理