heihei2017的博客

在Mapreduce流程中，在Map端常常遇到需要根据来自不同数据源的<key,value>，进行不同的操作。因此，经常需要获取到<key,value>的数据来源。 获取文件名的大致流程为：Context(map函数里) → InputSplit → FileSplit → Path → String(file name)。 Context Context是Mapper的内部类，在Map或Reduce任务中跟踪task的状态，Context在Map端执行时携带上下文信息。可理解

心跳机制 目的： 为了实现主节点和从节点的通信 重点： 两个参数和namenode判定datanode宕机所需的时间 因为hdfs具有心跳机制，所以在搭建分布式集群时，必须进行时间同步。 心跳机制的原因：namenode是集群中的老大，负责进行任务分工，要进行分工，必须知道各个datanode结点的存活状态。 namenode怎么 知道datanode的存活状态？datanode每隔一定...