大数据计算 hadoop spark

hadoop 2006年开始， hdfs hive MapReduce思想

spark 后面出来 内存计算 迭代计算（分类，回归，聚类都有个求导计算，不断迭代）

 

IO，计算能力：内存 闪存 磁盘不同

 

MapReduce 6部曲：输入，拆分，映射，派分，规约，输出

 

无处不在的MapReduce
图书馆数书
Word counting
机场登机
流水线作业批阅
后厨分工
做三明治