Dengrz的Blog

目录 MR简介 MR实现的操作流程 作业提交流程 Mapper阶段解读 Reducer阶段解读 数据流向分析 总体处理流程分析 Shuffle阶段解读 MR简介 一个MR作业通常会把输入的数据集切分为若干独立的数据块，先由Map任务并行处理，然后MR框架对Map的输出先进行排序，然后把结果作为Reduce任务的输入。MR框架是一种主从框架，由一个单独的JobTracker节点和多个TaskTracker节点组成。（JobTracker相当于Master，负责作业任务的调度，TaskT

一、简介 好友推荐功能简单的说是这样一个需求，预测某两个人是否认识，并推荐为好友。 二、思路 某两个非好友的用户，他们的共同好友越多，那么他们越可能认识。 比如，原始数据如下 Tom Cat Hello Hadoop Spring Cat Hello Spring Hello Tom Netty Hadoop Cat Hadoop Tom Hello Netty Spring Spring Tom Cat Hadoop Netty Hello Hadoop 每一行表示某个用户的好

1 Hadoop 概述 1.1 Hadoop 是什么 （1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构 （2）主要解决海量数据的存储和海量数据的分析计算问题 （3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈 1.2 Hadoop 优势 （1）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。 （2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。 （3）高效性：在MapReduce