大数据复习(第一章)

第一章

Google发明的MapReduce大规模数据分布存储和并行计算技术
Apache社区推出的开源Hadoop MapReduce 并行计算系统的普及使用、

1.1并行运算 (p1)

并行运算是指同时对多条指令、多个任务或多个数据进行处理的一种计算技术
实现这种计算方式的计算系统称为并行计算系统
以并行化的计算方法，实现计算速度和计算能力的大幅提升，以解决传统的串行计算所难以完成的计算任务

1.1.1 单处理器计算性能提升达到极限

提升性能的方式 (p3)

(1)提升计算机处理字长
(2)提高处理器芯片集成度
(3)提升处理器的主频
(4)改进处理器微架构

1.1.2 并行计算技术的分类 (p8)

1.Flynn分类法
分类,一是依据计算机在单个时间点能够处理的指令流的数量;二是依据计算机在单个时间点能够处理的数据流的数量。
1)单指令流单数据流
所有指令串行执行.在一个时钟周期内,处理器只能处理一个数据流。
2)单指令流多数据流
采用一个指令流同时处理多个数据流
这些指令集都能够在单个时钟周期内处理多个存储在寄存器中的数据单元
3)多指令流单数据流
采用多个指令流处理单个数据流。
4)多指令流多数据流
MIMD能够同时执行多个指令流,这些指令流分别对不同数据流进行处理。这是目前最流
行的并行计算处理方式。目前较常用的多核处理器以及 Intel最新推出的众核处理器都属于MIMD的并行计算模式。

1.1.3 并行计算的主要技