
▶ 【大数据】
徐志鹏
成长的足迹在这开始
展开
-
hadoop入门教程-程序小实例
无论是在微信还是QQ,我们经常看到好友推荐这样的功能,其实这个功能是在大数据的基础上实现的,下面来看具体的代码实现:在src下添加三个类:JobRun.java:package com.lftgb.mr;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.原创 2016-03-31 22:09:04 · 2642 阅读 · 4 评论 -
hadoop入门教程-核心组件MR
hadoop分布式计算框架--mapReduce,简称MR(离线计算),设计理念为:----何为分布式计算;----移动计算,而不是移动数据;提到mapReduce,我们先来了解它的架构:* 首先是一个一主多从架构;* 其次,主要有主 jobTracker和从TaskTracker两部分;其中jobTracker负责调度分配每一个子任务task运行于taskTracker上,如原创 2016-03-31 22:02:21 · 1023 阅读 · 1 评论