TianyeWang的博客

由于网友对工作原理的总结很优秀，有些写的比我掌握的还要多，很惭愧，对于工作原理，下面链接几条写的不错的博文，收藏作为后续回顾使用。hdfs工作原理：https://blog.youkuaiyun.com/liuguangrong/article/details/52906933yarn工作原理：https://www.cnblogs.com/codeOfLife/p/5492740.html...

由于从事其他方向，很久没有玩过hadoop，今天心血来潮想安装hadoop试试手，看了下centos居然出了7.x版本，之前一直用的是6.4版本的，特下载下来安装一下。查看下hadoop版本，已经出了3.x版本，下载尝尝鲜。从此刻开始，坑来啦。坑1：如果安装mini模式的centos你会发现没有ifconfig对没错，就是没有，/sbin下也没有解决办法：yum instal...

mapreduce在应用过程中可以通过灵活定制各部分代码用以解决复杂逻辑，本文简单介绍各部分定制代码的流程，代码由于过多就不进行书写。1、多map多reduce在某些业务场景中，如找出公共好友的过程中，一组map-reduce任务没办法一次处理得到结果，因此应用两次map-reduce进行处理。找出共同好友A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,I........