hadoop
关注
分享
扫一扫
文章平均质量分 68
mingtian625
这个作者很懒，什么都没留下…
展开
-
hadoop学习三 -- zookeeper安装
系统环境：centos:6.5zookeeper:3.4.6zookeeper的安装很简单，只要解压然后配置一下文件就可以了。因为zookeeper一般是做成集群模式的，而且节点的数量要是单数比较好，所以最少会有3个节点，具体为什么是单数，要参考zookeeper的选举算法了节点：192.168.10.160下载：cd /opt/tmpwget htt原创 2015-10-18 14:13:04 · 395 阅读 · 0 评论 -
hadoop学习笔记六 --- mapreduce原理笔记
描述mapreduce的计算整体流程：此处参考传智播客相关资料： (1).客户端提交一个mr的jar包给JobClient(提交方式：hadoop jar ...)(2).JobClient通过RPC和JobTracker进行通信，返回一个存放jar包的地址（HDFS）和jobId(3).client将jar包写入到HDFS当中(path = hdfs原创 2015-10-19 00:19:51 · 497 阅读 · 0 评论 -
hadoop学习笔记四 -- hadoop集群HA架构设计
环境:系统：centos6.5hadoop:2.7.1zookeeper:3.4.6涉及到的概念和作用解释：zk : zookeeper,主要的作用是保证HA（high available 高可用），当一个namenode节点故障以后，切换备用namenode为主节点FailoverControllerActive:也叫做DFSZKF原创 2015-10-19 00:02:22 · 2186 阅读 · 0 评论 -
hadoop学习笔记五 -- hdfs原理
首先说hdfs的原理：hdfs的原理会从三个方面描述，一个方面是提交文件到hdfs的原理，一方面是从hdfs下载文件的原理，最后是SecondaryNameNode工作原理#上传文件到hdfs*客户端提交文件信息到namenode，然后namenode会接收要上传的文件信息，根据文件的大小和实际的datanode的使用情况分配空间生成metadata，Namen原创 2015-10-19 00:04:34 · 619 阅读 · 0 评论 -
hadoop学习（一）-- centos 64位编译安装hadoop
hadoop的默认下载版本是32位的，但是本人的系统时64位，所以在安装hadoop的时候出现了Unable to load native-hadoop library for your platform 问题，所以笔者现在要用编译安装的方式来安装hadoop环境：maven : 3.3.3hadoop: 2.7.1jdk : 1.7centos : 6.6-64位原创 2015-09-03 00:07:04 · 938 阅读 · 0 评论 -
hadoop学习（二）-- 配置ssh免登陆
环境介绍：hadoop: 2.7.1centos : 6.6创建密钥文件：cd /root/.ssh/生成rsa非对称加密,输入命令以后一直按回车就可以了ssh-keygen -t rsa可以看到多了 id_rsa , id_rsa.pub 两个文件，一个私钥，一个公钥[root@hadoop115 .ssh]# ll总用量 1原创 2015-09-04 00:12:51 · 471 阅读 · 0 评论 -
hadoop学习笔记七 -- hadoop集群高可用架构安装配置
环境说明：centos:6.5hadoop:2.7.1zookeeper:3.4.6原创 2015-10-19 00:32:04 · 818 阅读 · 0 评论