weixin_42767528的博客

/** * *Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT> * *输入 key 文本中偏移量 *value 文本中的内容 * *输出 key 是文本的内容 * *value 是单词出现的次数 */ public class WordCountMap extends Mapper<LongWritable, Te...

Combiner的作用就是对map端的输出先做一次合并，以减少在map和reduce节点之间的数据传输量，以提高网络IO性能，是MapReduce的一种优化手段之一。 Combiner是MR程序中Mapper和Reducer之外的一种组件 Combiner组件的父类就是Reducer Combiner和Reducer对的区别 在于运行的位置 Reducer是每一个接收全局的MapTask所输出的结...

shuffle主要流程简介 先对数据进行切片，然后经数据传递给map，map的输出是环形缓冲区，环形缓冲区默认大小是100M，当达到80%的时候数据就溢写到本地，剩余20%用于继续获取数据，在溢写到磁盘的时候会执行partition（分区）和sor（排序），然后对文件进行合并操作，合并完成后reducetask会启动线程去mapTask拉取数据，然后进行文件合并，并进行排序（归并），然后将小文件合...