anyitian的博客

文章目录MapReduce历史背景什么是MapReduce什么是MapReduce分布式计算MapReduce特点Map端流程1）Split分片2）键值对3）Combiner4）Partitioner5）Spill：sort&combiner6）MergeReduce端流程1）Copy2）Mergejob任务的执行流程MapReduce的shuffle调优MapReduce历史背景Hadoop MapReduce诞生于搜索领域，主要解决搜索引擎面临的海量数据处理扩展性差的问题。它的程序本质上是

文章目录前言一、hdfs的优点二、hdfs的缺点三、hdfs的组成架构1）NameNode（nn）2）DataNode（nn）3）Client4）Secondary NameNode四、hdfs的block、packet、chunk1）block五、hdfs的block的大小为什么设置为128M六、hdfs的读流程七、hdfs的写流程八、Secondary NameNode前言Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它

文章目录一、大数据是什么二、大数据的特点三、数据存储单位四、Hadoop是什么五、Hadoop的特点六、Hadoop的1.x和2.x的区别一、大数据是什么大数据（big data）：是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。二、大数据的特点Volume（大量）Velocity（高速）Variety（多样）Value（低价值密度）Veracity（真实性）三、数据