
hadoop
Jasonty
这个作者很懒,什么都没留下…
展开
-
YARN架构的深入理解
一、基本架构YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。 其中ResourceManager负责整个系统的资源管理和分配,而ApplicationMaster负责单个应用程序的管理。原创 2016-03-31 21:56:08 · 787 阅读 · 0 评论 -
Hadoop2.6.4集群环境搭建全记录
折腾了两天,总算把环境搭起来了,由于很多资料都是基于Hadoop1.0的,而目前的2.0以上的Hadoop架构发生变化,因此一些老旧的资料就已经不再适用,而我又实在是不喜欢看官方文档,所以整理出这篇攻略给同样不喜欢看英文文档的你(如果你喜欢看还会百度中文的资料么;-)目标:组成一个由四台电脑构成的简单集群,其中一台为master,余下三台为slave。环境:Ubuntu 14.04 LTS 64bi原创 2016-03-22 21:07:07 · 4616 阅读 · 0 评论 -
设置ssh免密码验证
设置ssh免密码验证原创 2016-03-23 16:45:57 · 566 阅读 · 0 评论 -
Hadoop启动时的一些问题
1.关机重启之后需要依次关闭各节点的防火墙 2.由于公司内部ip是动态分配的,所以重启之后若ip发生变化,之前写入到/etc/hosts中的ip和主机名的对应关系实际上就是错误的了,实际上可以不配置这个文件,若能ping通各节点就可以。 3.如果在master节点上jps发现namenode无法启动,可以尝试删除/home/hadoop/tmp文件夹,并重新建立一个,然后更改owner,然后重新原创 2016-03-25 11:05:13 · 1037 阅读 · 0 评论