
Map&Reduce
文章平均质量分 64
showmyheart
这个作者很懒,什么都没留下…
展开
-
在eclipse中配置hadoop插件
1、安装插件Eclipse Standard 4.3.1hadoop-eclipse-plugin-1.2.1.jar2、打开MapReduce视图Window--->Perspecttive 3、添加MapReduce环境在eclipse下端,控制台旁边会多一个Tab,叫“Map/Reduce Locations原创 2013-10-10 15:08:50 · 2742 阅读 · 0 评论 -
MapReduce实战--分析apatch日志访问页面大小
日志文件:220.181.108.151 - - [31/Jan/2012:00:02:32 +0800] "GET /home.php?mod=space&uid=158&do=album&view=me&from=space HTTP/1.1" 200 8784 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.bai原创 2013-10-28 11:15:20 · 1347 阅读 · 0 评论 -
MapReduce实战--内连接
要求:输入文件的左列是child,右列是parent.要求从这个文件分析得出输出文件grandchild和grandparent列原创 2013-10-19 21:11:11 · 1837 阅读 · 0 评论 -
作业从提交到执行流程图
1、客户端调用作业提交函数将程序提交到JobTracker;2、JobTracker收到新的作业后,通知任务调度器对作业初始化;3、TastTracker向JobTracker汇报心跳,其中包含剩余的slot数目和能否接受新的任务等信息4、如果这个TaskTracker能够接受新的任务,则JobTracker调用TaskScheduler对外函数assignTasks为该TaskTra原创 2013-12-11 12:45:26 · 1694 阅读 · 0 评论