hadoop2.6.5完全分布式集群搭建

原创 于 2020-05-11 23:34:33 发布 · 847 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop

本文详细介绍如何搭建Hadoop完全分布式集群，包括配置多台服务器、设置HDFS和YARN节点、安装Zookeeper及JournalNode，以及启动和测试集群的全过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

要搭建起一个hadoop完全分布式集群至少需要3台机器，各个机器上分别运行哪些节点，要运行的节点都有什么，现在梳理如下：

image.png

针对上面表格的名词解释：

node112: ip 为192.168.28.112的centos7服务器

node113: ip 为192.168.28.113的centos7服务器

node114: ip 为192.168.28.114的centos7服务器

nn:namenode,属于hdfs，相当于hdfs的老大

dn:datanode,属于hdfs，相当于hdfs的小弟

zk:zookeeper,负责hdfs的高可用（本质是nn的高可用）

zkfc:zookeeper failoverController(java程序，用来监听zk，实现nn挂掉后自动切换到备份的nn)

jn:journalnode(负责active的nn与standby的nn之间数据的同步)

rm:resourcemanager,属于yarn，相当于yarn的老大,可以跟主nn在一台机器上，考虑到rm和nn都是吃内存比较多，也可以分开机器来放，

注意：Namenode和ResourceManger如果不是同一台机器，不能在NameNode上启动 yarn，应该在配置为ResouceManager所在的机器上启动yarn。

nm:nodemanage，属于yarn，相当于yarn的小弟

yarn：hadoop2.x里才引入的资源管理器，mapreduce运行在yarn上，mr需要的cpu、内存等的调整都是由yarn来控制。

为甚么要这么设计搭建？

其实各个节点在服务器上怎么分布，没有一定的准则，但是也有几个原则要遵守：

两个nn不能在一台机器上；

dn至少也要3台机器吧，再说zk与jn的集群都要求是奇数个机器，最小也就是3台机器了；

zkfc是zk与nn之间的桥梁，zkfc会分别想zk与nn发送心跳以判断nn是否处于正常状态，必须要和nn在同一个机器上，有nn的机器就有zkfc;

nm一般要和dn对应起来,nm没有地方来配置它，只要改机器时dn，那么就是nm，nm就是用来管理dn的，dn的配置是在slaves文件里面。

基于上述原则才有了上边各个节点的分布表格。

现在开始配置hadoop2.6.5完全分布式集群的搭建。因为前边已经详细的讲过hadoop2.6.5伪分布式的搭建，因此这里不会再这么啰嗦。

node113上的操作：                        

一、vi /etc/hosts,加入如下内容：

192.168.28.112 node112
192.168.28.113 node113
192.168.28.114 node114

二、配置免密码登录，参考本人其他文章

三、mkdir -p /usr/local/hadoop

四、tar -zxvf hadoop-2.6.5_x64.tar.gz  -C /usr/local/hadoop

五、cd  /usr/local/hadoop/hadoop-2.6.5/etc/hadoop/

六、vi hadoop-env.sh:

        export JAVA_HOME=/usr/local/java/jdk1.7.0_80

七、vi hdfs-site.xml:

<!--配置服务名-->
 <property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>
<!--配置nn的名字,nn1和nn2这里是任意命名的-->
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>
<!--配置两个nn的rpc，rpc端口用于nn与client和dn的交互-->
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>node112:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>node113:8020</value>
</property>
<!--配置两个nn的http端口，http端口是hdfs后台管理的端口-->
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>node112:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>node113:50070</value>
</property>
<!--配置journalnode的url地址，jn用于同步两个nn之间的数据，两个nn一个是active，一个是standby-->
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node112:8485;node113:8485;node114:8485/mycluster</value>
</property>
<!--客户端使用下面的类找到active nn，固定的-->
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!--配置私钥，文件名是什么就些什么-->
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_rsa</value>
</property>
<!--配置jn的工作目录-->
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/usr/local/hadoop/jnwork</value>
</property>
<!--配置自动切换（也允许手工切换）-->
 <property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
 </property>
 <!--配置副本数，与dn个数一致-->    
 <property>
    <name>dfs.replication</name>
    <value>3</value>
 </property>

八、创建jn的工作目录： mkdir -p  /usr/local/hadoop/jnwork

九、vi  core-site.xml:

<!--配置nn的入口（mycluster表示你前边配置的集群名字）,原先伪分布式时配置的是hdfs://node113:9000-->
 <property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>
<!--配置zk所在机器-->
 <property>
   <name>ha.zookeeper.quorum</name>
   <value>node112:2181,node113:2181,node114:2181</value>
 </property>
 <!--配置hadoop的工作目录-->
  <property>
   <name>hadoop.tmp.dir</name>
   <value>/usr/local/hadoop/data</value>
 </property>
 <property>
  <name>ipc.client.connect.max.retries</name>
  <value>100</value>
 </property>
 <property>
  <name>ipc.client.connect.retry.interval</name>
  <value>10000</value>
 </property>

十、mkdir -p /usr/local/hadoop/data

十一、slaves文件里面配置了datanode所在机器，journalnn替代了secondary nn，这点要知道，现在我们编辑slaves文件，vi slaves：

 node112
 node113
 node114

十二、vi mapred-site.xml:

<!--指定mr放在yarn上-->
   <property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>

十三、vi yarn-site.xml:

<!--配置rn所在机器-->
<property>
   <name>yarn.resourcemanager.hostname</name>
   <value>node113</value>
 </property>
   <property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
 </property>
   <property>
   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>

十四、zk的安装，参考本人其他文章

十五、在node112和node114上重复1-14步的操作

十六、在安装了zk的机器上(node112,node113,node114)上分别启动zk，./zkServer.sh start

十七、在准备作为jn节点的机器上(node112,node113,node114)上分别执行 "./sbin/hadoop-daemon.sh start journalnode "来启动jn节点，并通过jps来查看是否启动成功.

在启动了zk和jn之后，三台机器上的jps查看java进程的情况分别如下所示：

node112:

image.png

node113:

image.png

node114:

image.png

其中，QuorumPeerMain是zk的进程，JournalNode是jn的进程。

十八、在任意一台nn上执行，这里选择node113： ./bin/hdfs namenode -format，在hadoop工作目录(/usr/local/hadoop/data)查看下fsimg是否生成了。

image.png

十九、启动(否则第二十步执行不成功)已经格式化过的nn：./sbin/hadoop-daemon.sh start namenode， 并通过jps来查看是否有相应java进程启动。

image.png

可以看到多了NameNode进程已经启动了，另外又多了个ZooKeeperMain进程。

二十、在没有格式化的nn上执行命令，用以拷贝已经启动的nn上的fsimg，该命令是：./bin/hdfs namenode -bootstrapStandby  。执行完之后为确保万一，还是建议到hadoop工作目录(/usr/local/hadoop/data)查看下fsimg是否生成了。执行命令结果如下：

image.png

 

二十一、在node113上执行  ./bin/hdfs zkfc -formatZK ，这个命令会在zk上创建一个znode节点，作用就是用来检测与该znode节点对应的nn是否处于active状态。下图为该命令的部分输出信息：

image.png

那么我现在在3台机器上任意找一台安装了zk的机器，通过./zkCli.sh登录,查看一下是否有znode节点创建呢？

image.png

发现hadoop-ha这个节点已经被创建了，说明没有问题。

梳理一下现在3台机器上节点的启动情况：

[root@node112 /usr/local/hadoop/hadoop-2.6.5]#jps
8665 JournalNode
8830 Jps
8478 QuorumPeerMain
[root@node113 /usr/local/hadoop/hadoop-2.6.5]#jps
1912 NameNode
2100 Jps
1516 QuorumPeerMain
1725 JournalNode
1825 ZooKeeperMain
[root@node114 /usr/local/hadoop/hadoop-2.6.5]#jps
8639 JournalNode
8454 QuorumPeerMain
8718 Jps

二十二、好，现在配置基本差不多了，我们先把已经启动的jn（第十七步）和nn（第十九步）关闭掉，在node113（原先启动nn就是在node113执行的，两台机器都有nn，node112执行的./bin/hdfs namenode -bootstrapStandby，所以node113相当于主nn，./sbin/stop-dfs.sh 需要在active的主nn上执行）上执行命令： ./sbin/stop-dfs.sh 

image.png

 

二十三、好现在如果没有问题的话就大功告成了，现在总共有node112,node113,node114共三台机器，在角色为主的acitve的namenode上（这里是node113）执行：

            23.1 “ ./sbin/start-dfs.sh”就可以了，它会依次启动 nn,dn,jn,zkfc这些hdfs节点，下面为输出信息：

[root@node113 /usr/local/hadoop/hadoop-2.6.5]# ./sbin/start-dfs.sh
Starting namenodes on [node112 node113]
node112: starting namenode, logging to /usr/local/hadoop/hadoop-2.6.5/logs/hadoop-root-namenode-node112.out
node113: starting namenode, logging to /usr/local/hadoop/hadoop-2.6.5/logs/hadoop-root-namenode-node113.out
node114: starting datanode, logging to /usr/local/hadoop/hadoop-2.6.5/logs/hadoop-root-datanode-node114.out
node113: starting datanode, logging to /usr/local/hadoop/hadoop-2.6.5/logs/hadoop-root-datanode-node113.out
node112: starting datanode, logging to /usr/local/hadoop/hadoop-2.6.5/logs/hadoop-root-datanode-node112.out
Starting journal nodes [node112 node113 node114]
node114: starting journalnode, logging to /usr/local/hadoop/hadoop-2.6.5/logs/hadoop-root-journalnode-node114.out
node113: starting journalnode, logging to /usr/local/hadoop/hadoop-2.6.5/logs/hadoop-root-journalnode-node113.out
node112: starting journalnode, logging to /usr/local/hadoop/hadoop-2.6.5/logs/hadoop-root-journalnode-node112.out
Starting ZK Failover Controllers on NN hosts [node112 node113]
node113: starting zkfc, logging to /usr/local/hadoop/hadoop-2.6.5/logs/hadoop-root-zkfc-node113.out
node112: starting zkfc, logging to /usr/local/hadoop/hadoop-2.6.5/logs/hadoop-root-zkfc-node112.out

            23.2   “ ./sbin/start-yarn.sh”就可以了，它会依次启动 rm，nm这些yarn节点，下面是输出信息：

[root@node113 /usr/local/hadoop/hadoop-2.6.5]#sbin/start-yarn.sh 

starting yarn daemons

starting resourcemanager, logging to /usr/local/hadoop/hadoop-2.6.5/logs/yarn-root-resourcemanager-node113.out

node114: starting nodemanager, logging to /usr/local/hadoop/hadoop-2.6.5/logs/yarn-root-nodemanager-node114.out

node112: starting nodemanager, logging to /usr/local/hadoop/hadoop-2.6.5/logs/yarn-root-nodemanager-node112.out

node113: starting nodemanager, logging to /usr/local/hadoop/hadoop-2.6.5/logs/yarn-root-nodemanager-node113.out

二十四、在三台机器上通过jps命令查看，看看与预先计划的各节点分布情况是否一致，查看三台机器的java进程：

node112应该有namenode，datanode，zookeeper,zookeeper failoverController,journalNode,nodemanager共六个进程,下图正好吻合:

image.png

node113应该启动了namenode,datanode,zookeeper,zookeeperfailoverController,zookeeperMain,journalNode,resourcemanager,nodemanager共八个进程:

image.png

node114应该有datanode，zookeeper,journalNode,nodemanager共四个进程,下图也吻合:

image.png

二十五、通过http://node113:50070查看hdfs管理界面：

image.png

 

在hdfs工作根目录创建一个文件夹：

./bin/hdfs dfs -mkdir -p /usr/files

创建成功：

image.png

上传一个文件：

./bin/hdfs dfs  -put /root/haha.txt   hdfs://mycluster/usr/files/

上传也是成功的：

image.png

二十六、访问http://node113:8088查看yarn的管理界面，跑个mr任务看一下是否能正常显示mr任务的信息。

[root@node113 /usr/local/hadoop/hadoop-2.6.5/share/hadoop/mapreduce]#hadoop jar hadoop-mapreduce-examples-2.6.5.jar  
wordcount  hdfs://mycluster/usr/files/haha.txt  hdfs://mycluster/usr/files/haha_out

查看yarn的管理界面：

image.png

并且hdfs的管理界面也生成了haha_out目录，里面存放着执行结果：

image.png

二十七、hdfs和yarn管理着的mr都没有问题了，下篇教程再看看hive在集群中的测试。

总结与注意点：

    要先在安装有zk的机器上启动zk，再在node113上执行 ./start-all.sh.而start-all.sh已经过时了，推荐使用./start-dfs.sh和./start-yarn.sh代替它。

博客
解锁swing技术新姿势，坦克大战游戏-java swing项目再实战
09-20 936
这，这是一个围绕Java swing技术趣味级的学习，助你解锁swing技术新姿势，更给力的项目，更用心的创作。除了可以巩固swing必备的基础之外，尤其涉及swing绘图技术、多线程操作、线程安全，io流的实际应用场景，分析透彻，说实话，不看，你亏大发了！！！ 来看看界面和游戏功能。1.欢迎界面：2.游戏界面3.菜单功能新鲜不新鲜？作为程序员，是不是想一探究竟，我相信，你是你这个好奇心的，GO!第一种方法:http://www.roadjava.com/...
博客
ye读春秋左传系列视频讲解
06-12 1036
ye读春秋左传系列第一部之鲁隐公篇,左传名篇解读,左传故事1.左传这本书,春秋这个时代2.郑伯克段于鄢3.黄泉相见4.周郑交恶5.宋宣公知人6.石碏谏宠州吁7.东门之役8.玩火自焚原来是来自这里9.大义灭亲的故事10.臧僖伯谏观鱼11.怙恶不悛的故事12.姓与氏不同13.公子突败戎师14.围郑救宋15.郑庄公戒饬守臣16.鲁隐公之死ye读春秋左传系列第二部之鲁桓公篇,左传名篇解读,春秋左传故事https://www.bilibili.c
博客
五分钟搭建ftp服务器，真的不含糊
11-11 1370
五分钟搭建ftp服务器，真的不含糊
博客
sftp、ftp、ssh以及vsftpd、sshd的区别与关系
11-11 2650
sftp、ftp、ssh以及vsftpd、sshd的区别与关系
博客
服务器日常维护命令
06-23 893
查看最占用内存的前十条进程：psaux|grep-vPID|sort-rn-k+3|head查看正在监听的端口：netstat-anptop命令简化(以兆为单位返回linux系统内存)：free-mtop:shift+m(按内存使用大小排序)服务器重启之后01、如果防火墙firewalld未自动启动，需要手动启动：systemctlstartfirewalld02、启动web容器cd/usr/local/tomcat/bin./s...
博客
linux文章迁移之一
06-23 591
一、passwd文件x:表示有密码用户id0：超级管理员，要想让某个用户像root一样，就需要改为0 1-499：伪用户 500以上：普通用户初始组（创建用户的时候就创建了一个和用户名一样的组名）id[跟group文件匹配] ，另有附加组的概念禁止某人登录，改为/sbin/nologin每个用户的邮箱：/var/spool/mail/user1每次加新用户时在其家目录下生成的文件：/etc/skel二、linux中错误处理1和2描述 设备文件名 描述符 ...
博客
Bourne和c shell
06-23 709
shell的两大分支：Bourne家族(.sh)和c shellbshell：bshell就是sh(unix) ksh bash等。linux中/etc/shells文件显示本机器支持的shell，如：执行shell脚本的方式：sh 绝对路径或相对路径或者 ./helo.sh注意点：记得脚本要赋予可执行权限...
博客
数据库表设计最佳实践
06-14 516
为了表良好的扩展性，设计数据库表的时候需要格外注意，基于多年经验，给出如下最佳的建表模板：CREATETABLE`user_info`(`id`bigint(24)NOTNULLAUTO_INCREMENTCOMMENT'标识',`name`varchar(50)DEFAULTNULLCOMMENT'用户名',--其他业务字段`gmt_created`datetimeNOTNULLDEFAULTCURRENT_TIMESTAM...
博客
mybatis中${value}的使用
06-12 1973
为什么要使用${value}？ 上篇文章介绍了mybatis的select标签，我们知道在mybatis中，查询语句可以写在select标签内部即可完成相应的查询工作，但是由于业务的复杂性，有时候难免要自己去拼接sql并执行，如果你使用了spring的话，你可能会想到使用jdbctemplate来执行自己的sql，但是这个时候有个问题，什么问题呢？理论上来说，JdbcTemplate应该这样使用：@RepositorypublicclassBackupDaoIm...
博客
selectKey
06-12 763
有时候我们新增一条数据之后，还需要获取到这条新增数据的主键，以便在其他业务中继续使用，当然拿mysql来举个例子，你可以在执行完插入之后，再去执行一下“SELECT LAST_INSERT_ID()”来获取刚才插入后的主键id，但是这样显得既麻烦又没有效率，用mybatis可以通过selectKey标签一次性完成这种需求。分两种情况的主键来说，一是自增主键，就是自增类型的int了，一是非自增的主键，比如使用uuid（mysql有 uuid()函数）。一、自增类型的主键：ma...
博客
Mybatis配置useGeneratedKeys 参数
06-12 935
Mybatis 配置文件 useGeneratedKeys 参数只针对 insert 语句生效，默认为 false。当设置为 true 时，表示如果插入的表以自增列为主键，则允许 JDBC 支持自动生成主键，并可将自动生成的主键返回。配置mybatis的配置文件，设置useGeneratedKeys属性值为true：<settings><settingname="useGeneratedKeys"value="true"/>&l...
博客
迁移html和css之四
05-13 463
五十一、display: flex;与justify-content实现均匀分布html： <divclass="box"> <section>条目1</section> <section>条目2</section> <section>条目3</section> </div>css:.box{ display:flex; justify-content:...
博客
js实现上下文菜单
05-13 479
上下文菜单在web开发中也叫作右键菜单，在web开发中比较常见。如果后台系统用的前端插件，比如easyui等，本身就附带了这种上下文控件，但是如果想要自己实现，该如何做呢？这里我分享一个给各位朋友，先看下最终的整体效果：这里面有两个要解决的问题：如何准确的获取鼠标右键点击的位置，并让原本隐藏的菜单在该位置显示出来。当页面高度很高，以至于在页面最右边出现滚动条的时候也要确保弹出菜单的位置是正确的。如何解决？我们来看，如果想要获取鼠标的点击位置，我们可以通过事件的pageX或者clientX，但
博客
迁移html和css之三
05-12 599
三十一、css代表着什么，css规则是什么意思？CSS（全拼是 Cascading Style Sheets，翻译过来就是"层叠样式表"的意思）控制 DOM 元素的视觉外观，css控制的是元素的样式，不然怎么叫样式表呢。下面就是一条简单的 CSS 样式：body{background-color:white;color:black;}css如何书写？CSS 样式由选择符和属性组成。选择符后面跟着属性，但被一对花括号所包围。属性和值由冒号分隔，每个属性声...
博客
迁移html和css之二
05-12 466
二十一、CSS3前缀 浏览器 厂商前缀 chrome、safari -webkit- opera -o- firfox -moz- internetexplorer -ms- 上标列出的是css前缀，为什么会有这些前缀呢？新的css属性发布还未纳入w3c标准之前如果各个厂商想使用，一般加..
博客
迁移html和css之一
05-12 628
一、html元素的理解html元素，也叫html标签，是用来改变网页结构的作用。也就是说“标记”的作用 ：就是通过给内容添加标签来创建元素的过程。html标签写法注意点：01.HTML 标签以 < 开头，以 > 结束，比如表示段落文本的 <p>。02.标签一般都成对出现，一个开始标签和一个结束标签就在文档中创建了一个元素。03.结束标签用一个斜杠表示元素的关闭或结束，比如 </p>。如...
博客
迁移其他jquery文章之二
05-12 431
十一、jquery动画show,slideUp,fadeIn,fadeTo等对比jquery的动画方法：1.显示与隐藏show([数值/预设],[fn])和hide([数值/预设],[fn])和toggle([数值/预设])，这些方法的实质其实就是设置display属性2.向上滑动与向下展开slideUp([数值/预设],[fn])和slideDown([数值/预设],[fn])和slideToggle([数值/预设])...
博客
bootstrap-datetimepicker使用
05-12 789
bootstrap-datetimepicker官方网址：http://www.bootcss.com/p/bootstrap-datetimepicker/index.htm，上边有更详细的介绍，这里我举一个综合的例子，效果如下：使用的bootstrap是v3.3.5.<!doctypehtml><html><head><metacharset="utf-8"><title>bootstrap-datetimepicke..
博客
jquery ui 之datepicker的使用
05-12 2762
一、jquery插件机制介绍jquery插件机制的介绍jquery因为他的开源特性，大家都愿意聚集在它的周围，这也直接导致了jquery丰富的插件，据不完全统计，其插件个数已经超过千种，大致可以归为ui类（如jquery ui）、验证类（如表单验证插件jquery-validate.js）、特效类(如eayui等各种组件)、工具类(如json操作工具JSON2.js)等。jquery插件分为哪几种？一、自定义插件(可以提高系统的封装性)：基...
博客
easyui使用易错点
05-12 745
一、easyui报错:form[0].submit is not a function使用easyui提交表单的时候报错：easyui报错:form[0].submit is not a function。原因：easyui表单提交可以提交文件和普通字段，相当于jquery-from.js了，当然了，要想提交文件，设置form标签的enctype="multipart/form-data"是前提，但是使用easyui提交表单的时候却报了如上的错误，检查了该设置的都设置了，最后发现...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值