Daivei_lai的博客

分布式并行计算框架MapReduce 是指实现某项任务或某项工作从开始到结束的计算过程或流的结构 分布式并行计算框架 一个大的任务被拆分成多个小任务，每个小任务同时执行。按照执行流程进行计算 WordCount 单词总和（要能手写代码） Map的输出 是key,value的 list Reduce的输入 是key value的list MapReduce核心思想 分而治之，先分后和（只有一个模型） Map负责数据拆分 map: [k1,v1] → [(k2,v2)] Reduce负责数据合并 reduce:

咱们学了这么久的大数据了，也改到面试的时候了。那么我们该怎么去面试呢？我觉得不论你学多少面试技巧，你的基本能力不到位那是不可能要你的，因为你总得去干活吧，不会怎么去干活呢？所以我打算从头过一遍咱们的所有知识，来，不多bb！淦！ （一）Hadoop Hadoop：HDFS/YARN/MapReduce 简单概述 HDFS: NameNode DataNode SecondaryNameNode 概念： Client NN ：一个，Single Point of Failure(单点问题，如果挂了，就一个，那就