Hadoop入门进阶步步高(五)-搭建Hadoop集群

Hadoop详细集群搭建 Hadoop详细安装 环境:在虚拟机上,或者租一个服务器(用学生证可以认证白嫖喔,阿里云服务器等) 阅读详情

五、搭建Hadoop集群

上面的步骤,确认了单机可以执行Hadoop的伪分布执行,真正的分布式执行无非也就是多几台slave机器而已,配置方面的有一点点区别,配置起来就非常简单了。

1、准备三台服务器

192.168.56.101

192.168.56.102

192.168.56.103

在每台机器的/etc/hosts中都将ip及hostname给映射上:

192.168.56.101  nginx1

192.168.56.102  nginx2

192.168.56.103  nginx3

其中192.168.56.101为前面配置的那台服务器,用于做为namenode及jobtracker,另外两台用于做slaves,用于执行datanode及tasktracker。

要使某台服务器成为namenode,必须在要core-site.xml中指定它;要使某个节点成为jobtracker,必须在mapred-site.xml指定它,这个参见第5点中的core-site.xml以及mapred-site.xml的配置。

对Hadoop来说,从hdfs的角度来看有namenode及datanode,namenode只能够有一个,而datanode可以有多个,namenode存放的是datanode中文件的元数据,客户端通过namenode获取datanode中文件的信息;从jobtracker角度来说看有jobtracker及tasktracker,jobtracker只能够有一个,而tasktracker可以有多外,tasktracker通过jobtracker来调度。

在本例中使用192.168.56.101做为namenode及jobtracker,使用192.168.56.102做为secondarynamenode、datanode以及tasktracker,使用192.168.56.103做为datanode以及tasktracker,详情参见下面的配置。

2、三台服务器要具有一致的配置信息

1)、JDK的路径必须相同;

2)、操作Hadoop的用户必须相同;

3)、Hadoop的存放路径必须相同;

Slave机器上的hadoop可直接将namenode上面的hadoop拷贝过去,不用做任何修改,只要路径放置就可以了;

4)、每台机器~/.ssh目录下存放相同的id_rsa及authorized_keys

将namenode的机器上的~/.ssh/id_rsa及authorized_keys拷贝到每台slave机器上的~/.ssh中,当然slave机器中也必须是安装了ssh的了,然后在每台机器上都通过ssh访问一下其它的两台机器,确保都是可以不输入密码访问的。

5)、三台机器的/etc/profile中的内容相同;

3、修改$HADOOP_HOME/conf/slaves文件

这个文件存放的是所有datanode的IP或者机器名,每行指定一个。我们这里使用nginx2及nginx3来做为datanode,因此slaves文件的配置如下:

nginx2

nginx3

 

4、修改$HADOOP_HOME/conf/masters文件(此例中可选)

masters文件中放置的是secondarynamenode的机器名,其中默认的内容为“localhost”,但是在生产环境中,肯定不会将namenode和secondarynamenode放置在同一台服务器上,在此例中我就将secondarynamename设置在第二台服务器上,那么此时文件中的内容应该如下:

#这里只使用一台做为secondarynamenode

nginx2

#nginx3

5、修改core-site.xml、mapred-site.xml及hdfs-site.xml

只需要做简单的修改就可以了,不同点以红色字体标识出。

core-site.xml:

<configuration>  

  <property>  

    <!-- 用于设置Hadoop的文件系统,由URI指定,value对应的服务器就是namenode所在的服务器及端口,secondarynamenode通过在masters这个文件中指定 -->

    <name>fs.default.name</name>  

    <value>hdfs://nginx1:9000</value>  

  </property>  

  <property>

<!-- 配置Hadoop的临时目录,默认在/tmp目录下,但是/tmp上面可能会被系统自动清理掉。-->

<name>hadoop.tmp.dir</name>

<!-- 目录如果不存在,需要手动创建 -->

    <value>/home/fenglibin/hadoop_tmp</value>

    <description>A base for other temperary directory</description>

  </property>

</configuration>  

 

mapred-site.xml:

<configuration>  

  <property>  

    <!-- value对应的值为jobtracker所在的服务器及端口,tasktracker在slaves中指定 -->

    <name>mapred.job.tracker</name>  

    <value>nginx1:9001</value>  

  </property>  

</configuration>

 

    hdfs-site.xml:

<configuration>  

  <property>

    <!-- 指定其副本数,value的值表示副本的数量 -->  

<name>dfs.replication</name>  

<!-- 这里有两台datanode -->

    <value>2</value>  

  </property>  

</configuration>

 

6、启动验证

6.1查看进程

DataNode都是通过NameNode启动起来的,因而启动的时候只需要在NameNode上执行start-all.sh就可以了,此时我们查看各服务器中的进程。

Nginx1(NameNode)所在服务器:

fenglibin@ubuntu1110:/usr/local/hadoop-1.2.1$ jps

2834 NameNode

3011 JobTracker

3108 Jps

Ngnix2:

fenglibin@ubuntu11102:~$ jps

984 DataNode

1075 TaskTracker

919 SecondaryNameNode

1420 Jps

Ngnix3:

fenglibin@ubuntu11103:~$ jps

1374 Jps

1021 TaskTracker

846 DataNode

从上面的进程信息,可以看到nginx1中启动了namenode及jobtracker,,nginx2和nginx3都分别启动了DataNode及TaskTracker,只是nginx2中比nginx3中多启动了一个SecondaryNameNode,这也是我们希望的结果。

通过如下命令:

hadoop dfsadmin -report

可得到如下输出:

Warning: $HADOOP_HOME is deprecated.

 

Safe mode is ON

Configured Capacity: 15283421184 (14.23 GB)

Present Capacity: 10592149504 (9.86 GB)

DFS Remaining: 10591629312 (9.86 GB)

DFS Used: 520192 (508 KB)

DFS Used%: 0%

Under replicated blocks: 20

Blocks with corrupt replicas: 0

Missing blocks: 0

 

-------------------------------------------------

Datanodes available: 2 (2 total, 0 dead)

 

Name: 192.168.56.102:50010

Decommission Status : Normal

Configured Capacity: 7641710592 (7.12 GB)

DFS Used: 307200 (300 KB)

Non DFS Used: 2733502464 (2.55 GB)

DFS Remaining: 4907900928(4.57 GB)

DFS Used%: 0%

DFS Remaining%: 64.23%

Last contact: Sun Jun 15 15:46:39 CST 2014

 

 

Name: 192.168.56.103:50010

Decommission Status : Normal

Configured Capacity: 7641710592 (7.12 GB)

DFS Used: 212992 (208 KB)

Non DFS Used: 1957769216 (1.82 GB)

DFS Remaining: 5683728384(5.29 GB)

DFS Used%: 0%

DFS Remaining%: 74.38%

Last contact: Sun Jun 15 15:46:39 CST 2014

 

 

6.2 集群状态监控页面

查看namenode的状态

namenode是布署在192.168.56.101上,只需要输入:

http://192.168.56.101:50070

即可查看namenode的状态,如下图所示:

 

查看jobtracker的状态

因jobtracker和namenode是布署在同一台机器上的,输入:

http://192.168.56.101:50030

即可查看jobtracker的状态,如下图所示:

 

查看secondarynamenode的状态

Secondarynamenode是布署在192.168.56.102上面,输入:

http://192.168.56.102:50090

即可查看其状态,如下:

 

查看192.168.56.102上面的tasktracker的状态,打入:

http://192.168.56.102:50060

查看状态,如下:

 

 

从上面可以看出,监控的服务,都是以“500*”端口对外提供服务,不过这里发现一个问题,同为datanode以及tasktracker的192.168.56.103上面却没有开启一个“500*”这样的端口,而192.168.56.102上却开启除secondarynamenode之外的其它4个“500*”这样的端口:

192.168.56.102:

 

其中端口50090是secondarynamenode的监控端口,而50060是tasktracker的监控端口,而50010、50075以及50020都是datanode使用的端口。

而在192.168.56.103上,却只开了两个端口:

 

分别与namenode以及jobtracker相连着的。

为什么在192.168.56.103上面tasktracker以及datanode的监控呢?

Linux中Hadoop 集群搭建 零、下载Hadoop: http://archive.cloudera.com/cdh5/cdh/5/?tdsourcetag=s_pctim_aiomsg 一、集群规划: 搭建的 hadoop 集群由 3 台服务器组成,分别叫做 master,salve1 和 slave2。其中 master 作为主节点,slave1 和 slave2 作为从节点。 二、网络配置: 1.查看 3 个节点的主机名... 阅读详情

相关推荐

Hadoop集群简介和搭建步骤

参考多篇博客后,成功搭建Hadoop和Spark集群,希望记录下安装步骤,目前只更新了Hadoop部分 Hadoop简介 在搭建Hadoop集群之前,先简单了解一下Hadoop集群 Hadoop是什么 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群进行高度运算和存储。 主要解决海量数据的存储和分析计算的问题 ...

qq_33880788的博客 7567

简明Hadoop配置(1)——配置jdk以及Hadoop

注意:以下实践实在Ubuntu14.0.4以及Hadoop2.7.2所做的,如果环境不同,效果可能不理想。首先,以下默认我们已经下载好了jdk以及hadoop的压缩包,没有的话,需要这里->jdk下载 | hadoop下载下载一. 配置jdkUbuntu默认是使用的OpenJDK,似乎也可以,不过因为惯性,我还是先配置了Sun的JDK,以防万一。 修改环境文件 运行命令:sudo gedit

lqadam的博客 1万+

Hadoop集群搭建详解,不走弯路

Hadoop是一个用于分布式存储和处理大规模数据的开源框架。

技术探秘者的博客 1283

CDH 版本 Hadoop集群搭建

一、安装前期准备1、下载CDH的Hadoop版本软件http://cloudera-fastly-s3-2.s3-website-us-west-1.amazonaws.com/cdh5/parcels/5.10.0/

zjh_746140129的博客 1056

使用Docker搭建hadoop集群

刚开始搭建hadoop集群的时候,使用的是VMware创建的虚拟机。结果卡到心态爆炸。。。 今天尝试使用Docker搭建hadoop集群,发现是如此的好用快捷,也比使用VMware简单。 在这里记录一下防止以后忘记,为以后的学习做准备。1.获取镜像。如果是本地使用VMware搭建的话,需要准备java环境,hadoop安装包,还要配置环境变量。虽然不难,但是经常做这些工作也难免烦躁。 使用Do

繁城落叶 4476

在Linux中进行hadoop集群搭建

在公网IP为x.x.x.x、y.y.y.y和z.z.z.z并装有Centos8的服务器上进行hadoop集群搭建,都安装hadoop-3.1.3和server-jre-8u202-linux-x64。

weixin_43268590的博客 3070

AWS中Centos创建后登录以及修改密码配置

1、需要用pem文件连接到centos系统中,     xshell 使用pem文件登录:http://note.youdao.com/share/?id=7d0edf8e0946024dd4f52779708e68aa&type=note 2、修改root密码     sudo passwd root 然后输入两次密码 3、修改centos登录方式为密码登录     

The magic of fingertips 9717

Hadoop 集群搭建与配置实战指南:从入门到精通

搭建和配置 Hadoop 集群是一次充满挑战与惊喜的旅程,它就像搭建一座复杂而精密的城堡,需要我们精心准备每一块基石、仔细绘制每一张蓝图、严谨配置每一个环节。通过本文的详细介绍,读者应该能够成功搭建一个基本的 Hadoop 集群,并通过简单示例验证其功能,就像成功建造并验收了一座城堡一样。在实际应用中,根据不同的业务需求和数据规模,我们可以进一步优化和扩展集群,就像为城堡增添更多的功能和防御设施一样。希望本文能为大数据爱好者和从业者在 Hadoop 集群搭建方面提供有力的帮助,成为您大数据之旅的可靠指南。

Dongguazhuzhuzhu的博客 1106

Hadoop stop-all.sh总是提示 cat: $HADOOP_HOME/conf/masters

今天在Hadoop中运行bin/stop-all.sh总是提示 cat: $HADOOP_HOME/conf/masters 但是我单独运行 cat $HADOOP_HOME/conf/masters是有输出的,Google了半天也没个结果,后来想起来我的环境变量是设置在/etc/environment中的,于是我source /etc/environment,在运行bin/stop-all.s...

wujay 219

Flink Standalone集群部署和任务提交

讲解flink standalone的部署和任务提交

chanyue123的博客 5970

用51单片机和LD3320语音模块DIY一个会说话的温度报警器(附完整代码)

本文详细介绍了如何使用51单片机和LD3320语音模块DIY一个智能温度报警器,包括硬件选型、电路设计、软件开发及核心功能实现。通过DS18B20温度传感器和语音模块的结合,实现温度超标时的语音报警功能,适合智能家居系统等应用场景。附完整代码,方便开发者快速复现。

weixin_42525632的博客 422

软件项目第三方依赖选型:从需求分析到决策落地的工程化实践

在软件工程中,依赖管理是构建稳定、可维护系统的基石。其核心原理在于通过引入经过验证的外部代码模块,提升开发效率与系统可靠性。这项技术的价值不仅在于功能复用,更在于帮助团队规避重复造轮子,将精力聚焦于核心业务逻辑。在实际应用场景中,无论是Web开发、数据科学还是系统运维,开发者都面临从海量开源库中筛选合适依赖的挑战。一个科学的选型流程至关重要,它始于对项目核心需求与技术约束的明确定义,贯穿对社区生态、代码质量及长期维护性的多维评估,并最终借助加权决策矩阵等工具做出理性选择。本文聚焦于**技术选型**与**工程

weixin_33733810的博客 303

搜索引擎——ElasticSearch汇总

汇总——ElasticSearch篇 全文检索 问题1:什么是全文检索? 基本概念:对**非结构化数据/结构化数据**先建立**索引**,再对索引进行搜索**文档**的过程叫做全文检索。 什么是非结构化与结构化数据? - 非结构化数据:没有固定的格式的数据(html,word,excel)---没有固定长度,字段约束,描述,散列数据 - 结构化数据:有固定的格式的数据(如:数据库数据)---有固定长度(varchar(50)),字段类型,描述修饰数据 搜索算法:顺序扫描法、倒排索引法 - 顺序

alonewolf_99的博客 1841

Hadoop搭建集群

Hadoop集群部署是为了实现分布式存储和计算,提高大数据处理的效率和性能。1.确定集群规模和硬件资源,选择合适的操作系统和Hadoop版本,进行网络配置,确保集群内各节点之间可以互相通信。2.设置各节点的环境变量,安装和配置Java环境以及其他必要的软件和工具。3.配置Hadoop的核心组件(如HDFS和YARN)和各节点角色(如NameNode、DataNode、ResourceManager、NodeManager等),完成集群的部署。

m0_70405779的博客 1万+

散户逆袭神器:用通达信DIY指数发现下一个光伏储能(附龙头股筛选模板)

本文详细介绍了如何利用通达信软件的自定义指数功能,构建个人专属的行业监控工具,以发现类似光伏储能这样的潜力赛道。文章提供了从零开始的指数编制步骤、核心的龙头股筛选模板,以及五个关键的数据校验技巧,帮助散户投资者实现机构级的行业分析与机会挖掘,有效提升投资决策能力。

w3x4y的博客 486

AI智能体升级实战:从规则匹配到Function Call,准确率提升86%的技术选型之路

AI智能体升级实战:从规则匹配到Function Call的技术演进 文章记录了AI邮件助手从传统规则匹配升级到Function Call的技术迭代过程。通过案例分析,揭示了规则匹配的三大核心问题:覆盖不全(用户表达千变万化)、组合困难(多条件容易漏掉)、维护噩梦(每个需求都要新增规则)。测试数据显示,规则匹配在复杂查询中的准确率仅51%,严重影响用户体验。 技术团队对比了三种升级方案:1) 继续优化规则匹配(天花板明显);2) 微调专用NLP模型(成本高);3) 采用Function Call(灵活高效)

yweng18的博客 1079

Hadoop入门(五)——Hadoop集群搭建-克隆三台虚拟机(图文步骤详解2021)

Hadoop入门——克隆三台虚拟机 首先关闭虚拟机才能克隆 右键,管理,克隆 注意选择创建完整的克隆 依次克隆出hadoop102,hadoop103,hadoop104 Why not hadoop101? hadoop101留给了一个尾分布式,单台服务器的操作使用,102,103,104搭建的是完全分布式,真正的集群,后续所有配置框架基于这个来的。 配置克隆出来的虚拟机的IP地址,主机名称 分别执行以下三条命令: vim /etc/sysconfig/network-scripts/ifcfg

小哨的博客 2万+

小米手机免登录开启USB安装与调试(MIUI 9-11实测,已Root可用)

本文详细介绍了小米手机免登录开启USB安装与调试的底层方案,适用于已Root的MIUI 9-11版本设备。通过修改系统配置、禁用MIUI安装器验证和强制开启USB调试等步骤,帮助开发者绕过账号限制,实现快速调试。文章包含不同MIUI版本的兼容性处理和常见问题解决方法,实测有效。

weixin_33675507的博客 291

CentOS7搭建Hadoop集群

10、部署完成可以通过start-all.sh和stop-all.sh控制Hadoop-HA所有节点的启停。-- 配置该user(superUser)允许通过代理访问的主机节点 -->-- 把多个NameNode的地址组装成一个集群mycluster -->-- 配置该user(superUser)允许通过代理用户所属组 -->-- 配置该user(superUser)允许通过代理的用户-->-- 指定hadoop运行时产生文件的存储目录 -->-- 配置HDFS网页登录使用的静态用户为user -->

指针先生 3837

Ubuntu系统下搭建QtCreator开发环境详细过程(Qt简介;Linux下安装QtCreator;Ubuntu安装后闪退蓝屏的解决方法)

Qt 是一个跨平台的 C++开发库。主要用来开发图形用户界面 (Graphical User Interface,简称 GUI) 程序。Qt 支持的操作系统有很多,例如通用操作系统 Windows、Linux、Unix、智能手机系统Android、ios、WinPhone, 嵌入式系统 QNX、VxWorks 等。

分享学习成长历程,Winter is coming! 8605

SAP 采购订单入库——移动类型

业务场景:采购入库,实物入库至仓库,然后系统同步过账。MIGO:收货、采购订单。 MVT:101 入库,---库存增加。 MVT:移动类型,就是代表业务场景,(比如入库、发货,成本中心发、工单发、报废、盘赢、盘亏等等) 移动类型 1、正向采购入库:101 2、反向冲销(MIGO)102:与101相反,用于错误操作的反向冲销。参考原凭证,全部进行一...

willieyuan的博客 7782

搭建Hadoop集群

实验二搭建Hadoop集群 1实验目的 搭建Hadoop集群; 掌握Linux分发; 掌握Hadoop启动和关闭。 2实验内容 搭建Hadoop集群,配置etc/下的配置文件,设置主从节点,设置Hadoop环境变量,分发到其他电脑,运行hdfs和yarn,启动namenode、datanode。 3 实验知识点 Hadoop配置文件修改; 主从节点设置; 环境变量配置; 分发; 格式化namenode文件夹。 启动集群 4实验时长 8学时。 5实验环境 VMw...

m0_62670963的博客 4837

IEC 61850标准协议解读 3.MMS服务

摘要:本文系统介绍了MMS(制造报文规范)的基础知识及其在IEC61850中的应用。首先解析MMS的核心定义、通信流程(带确认/不带确认服务)、虚拟制造设备(VMD)概念及核心对象(域/有名变量等)。重点阐述IEC61850与MMS的映射关系,包括对象分层映射、服务转换规则及数据类型对应。深入分析ASN.1编解码机制,说明MMS PDU的分层结构与解码流程。最后通过典型报文案例(报告服务、控制服务、文件传输等)和通信初始化流程,展示MMS在智能变电站中的实际应用。全文揭示了MMS作为抽象应用层协议如何通过标

张二狗的博客 729

Hadoop01-入门&集群环境搭建

大数据概述 ​ 大数据: 就是对海量数据进行分析处理,得到一些有价值的信息,然后帮助企业做出判断和决策. ​ 处理流程: ​ 1:获取数据 ​ 2:处理数据 ​ 3:展示结果 1:Hadoop介绍 Hadoop是一个分布式系基础框架,它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理. 它主要解决两个问题 ​ 大数据存储问题: HDFS ​ 大数据计算问题:MapReduce 问题一:

m0_46692956的博客 6万+

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

上一篇: Hadoop入门进阶步步高(四)-测试Hadoop
下一篇: Hadoop入门进阶步步高(六)-Hadoop1.x与Hadoop2的区别
冯立彬
冯立彬 优质创作者: 编程框架技术领域 优质创作者: 编程框架技术领域
博客等级 码龄21年 5458粉丝 593原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值