沉迷数据无法自拔

mapreducehadoop将数据存储在hdfs文件系统上。处理数据时，将数据提取、预处理的工作交由map任务完成，生成键值对之后传输给reduce任务执行。一般一个分片，由一个map任务来做。 map和reduce任务执行在集群中的节点。map任务输出文件一般先存在本地，再由网络传送到reduce所在的节点上进行最终处理。这个传输过程可能很费时间，为了减少传输数据量我们可以在map任务生成的结果集传输前，通过combinter 对其进行进一步处理。map：数准备，过滤阶段 。reduce：对处

学习hadoop你需要了解哪些：mapreduceHDFSYARN简介：当前是数据大爆发的时代，数的生成速度正在不断加快。通过良好的设计，在同等算力下使得问题能够更快的解决。随着数据量的不断膨胀，我们不再局限于将数据精准记录快速检查、更新的事务性数据库（关系型数据库），更希望能从全量数据中挖掘潜在价值，hadoop应运而生，haoop不仅可以对结构化的数据进行存储分析、更适用于半结构化、非结构化数据。 他相对于传统数据库而言有着明显的优势，是对传统数据库的补充。 他们相互弥补。haoop