
Hadoop
文章平均质量分 94
shu_lin
成长的路上,脚踏实地,一步步前进...
展开
-
MapReduce:详解Shuffle过程
最近都在学习hadoop,目前对hdfs,mapreduce,hive,zookeeper,hbase有了基本的认识和了解,搭建了相关开发环境等。现在在进行进一步的学习,看到这篇关于Shuffle过程的详解,觉得写得不错,故而转载。关于自己的学习笔记,也想分享到博客来,但是由于平时工作都是在加紧新东西的学习,故而没有时间整理发布,但是我认为整理是学习的必须阶段,故而想利用接下来的一个大长假对这两个转载 2015-09-16 16:55:38 · 2875 阅读 · 0 评论 -
Hadoop集群完全分布式搭建教程-CentOS
本篇在前一篇《Hadoop单机模式和伪分布式搭建教程》的基础上完成完全分布式的搭建,所以本篇的前提是已经按照之前的教程完成了伪分布式的安装。1. 说明 本教程中电脑为8G内存,故而将使用四个节点作为集群环境,其中一个为master,3个为slaver(分别是slaver1、slaver2和slaver3master节点将仅为namenode存在,而slaver节点是da原创 2015-12-27 18:03:14 · 11990 阅读 · 2 评论 -
Hadoop单机模式和伪分布式搭建教程CentOS
首先说明一下:采用的是新装的CentOS的环境,利用xshell进行远程操作来搭建Hadoop单机模式,伪分布式和完全分布式的文档。环节都是一环套一环,有先后顺序存在。本人是在win8.1 64位系统环境下,并且安装的Cent OS也是64位,故所有相关软件都是64位的。此教程只要照着做,都可以完成,祝大家成功!系统和软件以及版本说明:系统和软件原创 2015-12-26 22:25:46 · 14689 阅读 · 7 评论