hadoop 2.0安装及HA配置简述

最新推荐文章于 2025-04-26 15:31:42 发布
最新推荐文章于 2025-04-26 15:31:42 发布
阅读量184 收藏
点赞数
文章标签： 大数据 java 运维
原文链接：http://www.cnblogs.com/cqdxwjd/p/9939999.html
版权
本文详细介绍Hadoop高可用集群的搭建过程，包括节点规划、免密登录配置、核心配置文件调整、集群初始化及启动步骤。适用于希望深入了解Hadoop HA架构的读者。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一.单机模式

a、配置本机到本机的免密登录

b、解压hadoop压缩包，修改hadoop.env.sh中的JAVA_HOME

c、修改core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.110.222</value>
  </property>
</configuration>

d、修改hadfs-site.xml

<configuration>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/root/softs/hadoop-2.7.3/namelog</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/root/softs/hadoop-2.7.3/datalog</value>
  </property>
</configuration>

e、格式化namenode，启动hfds

bin/hdfs namenode -format
sbin/start-dfs.sh

 二.高可用配置

a.节点规划

hostnameipsoftwarejps
hbase1192.168.110.51jdk/hadoopnamenode/resourcemanager/zkfc
hbase2192.168.110.52jdk/hadoopnamenode/resourcemanager/zkfc
hbase3192.168.110.53jdk/hadoop/zookeeperdatanode/nodemanager/journalnode/quorumpeermain
hbase4192.168.110.54jdk/hadoop/zookeeperdatanode/nodemanager/journalnode/quorumpeermain
hbase5192.168.110.55jdk/hadoop/zookeeperdatanode/nodemanager/journalnode/quorumpeermain

b.配置免密登录

c.hadoop主要配置文件

core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://myCluster</value>
        </property>
        <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
        </property>
        <property>
                <name>fs.trash.interval</name>
                <value>1</value>
        </property>
        <property>
                <name>ha.zookeeper.quorum</name>
                <value>hbase3:2181,hbase4:2181,hbase5:2181</value>
        </property>
</configuration>

hdfs-site.xml

<configuration>
        <property>
        <name>dfs.namenode.name.dir</name>
    <value>file:///root/softs/hadoop-2.7.3/namelogs</value>
        </property>
        <property>
                <name>dfs.blocksize</name>
                <value>128m</value>
        </property>
        <property>
        <name>dfs.namenode.handler.count</name>
    <value>100</value>
    </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:///root/softs/hadoop-2.7.3/data</value>
        </property>
        <!-- the max number of files a datanode will serve at any one time -->
        <property>
        <name>dfs.datanode.max.transfer.threads</name>
        <value>4096</value>
        </property>
        <property>
                <name>dfs.webhdfs.enabled</name>
                <value>true</value>
        </property>

        <property>
                <name>dfs.nameservices</name>
                <value>myCluster</value>
        </property>
        <property>
    <name>dfs.ha.namenodes.myCluster</name>
    <value>nn1,nn2</value>
  </property>
        <property>
    <name>dfs.namenode.rpc-address.myCluster.nn1</name>
    <value>hbase1:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.myCluster.nn2</name>
    <value>hbase2:8020</value>
  </property>
        <!-- 配置nn1,nn2的http通信端口 -->
        <property>
    <name>dfs.namenode.http-address.myCluster.nn1</name>
    <value>hbase1:50070</value>
  </property>
        <property>
    <name>dfs.namenode.http-address.myCluster.nn2</name>
    <value>hbase2:50070</value>
  </property>
        <!-- 指定namenode元数据存储在journalnode中的路劲 -->
        <property>
                <name>dfs.namenode.shared.edits.dir</name>
                <value>qjournal://hbase3:8485;hbase4:8485;hbase5:8485/myCluster</value>
        </property>

        <!-- 指定journalnode日志文件存储的路劲  -->
        <property>
                <name>dfs.journalnode.edits.dir</name>
                <value>/root/softs/hadoop-2.7.3/journallog</value>
        </property>
        <!-- 指定HDFS客户端连接active namenode的java类 -->
  <property>
    <name>dfs.client.failover.proxy.provider.myCluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
        <!-- 配置隔离机制为ssh -->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>
        <!-- 指定秘钥的位置 -->
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
  </property>
        <!-- 开启自动故障转移 -->
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
</configuration>

mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.map.memory.mb</name>
                <value>1536</value>
        </property>
        <property>
        <name>mapreduce.map.java.opts</name>
    <value>-Xmx1024M</value>
        </property>
        <property>
                <name>mapreduce.reduce.memory.mb</name>
        <value>3072</value>
  </property>
        <property>
    <name>mapreduce.reduce.java.opts</name>
        <value>-Xmx2560M</value>
  </property>
        <property>
    <name>mapreduce.task.io.sort.mb</name>
    <value>512</value>
        </property>
        <property>
    <name>mapreduce.task.io.sort.factor</name>
    <value>100</value>
  </property>
        <property>
    <name>mapreduce.reduce.shuffle.parallelcopies</name>
    <value>50</value>
        </property>
        <property>
    <name>mapreduce.jobhistory.address</name>
    <value>hbase1:10020</value>
        </property>
        <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hbase1:19888</value>
  </property>
        <!-- 开启uber模式（针对小作业的优化） -->
  <property>
    <name>mapreduce.job.ubertask.enable</name>
    <value>true</value>
  </property>
        <!-- 配置启动uber模式的最大map数 -->
  <property>
    <name>mapreduce.job.ubertask.maxmaps</name>
    <value>9</value>
  </property>
        <!-- 配置启动uber模式的最大reduce数 -->
  <property>
    <name>mapreduce.job.ubertask.maxreduces</name>
    <value>1</value>
  </property>
</configuration>

yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
        <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>
        <!-- 启用自动故障转移 -->
  <property>
    <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
        <!-- 指定YARN HA的名称 -->
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>yarncluster</value>
  </property>
        <!-- 指定两个resourcemanager的名称 -->
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>
        <!-- 配置rm1，rm2的主机 -->
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>hbase1</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>hbase2</value>
  </property>
        <!-- 配置YARN的http端口 -->
  <property>
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>hbase1:8088</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>hbase2:8088</value>
  </property>
        <!-- 配置zookeeper的地址 -->
  <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>hbase3:2181,hbase4:2181,hbase5:2181</value>
  </property>
        <!-- 配置zookeeper的存储位置 -->
        <property>
                <name>yarn.resourcemanager.zk-state-store.parent-path</name>
                <value>/rmstore</value>
        </property>
        <!-- 开启yarn resourcemanager restart -->
        <property>
                <name>yarn.resourcemanager.recovery.enabled</name>
                <value>true</value>
        </property>
         <!-- 配置resourcemanager的状态存储到zookeeper中 -->
  <property>
    <name>yarn.resourcemanager.store.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  </property>
         <!-- 开启yarn nodemanager restart -->
  <property>
    <name>yarn.nodemanager.recovery.enabled</name>
    <value>true</value>
  </property>
         <!-- 配置nodemanager IPC的通信端口 -->
  <property>
    <name>yarn.nodemanager.address</name>
    <value>0.0.0.0:45454</value>
  </property>
        <!-- 配置Web Application Proxy安全代理（防止yarn被攻击） -->
  <property>
    <name>yarn.web-proxy.address</name>
    <value>hbase2:8888</value>
  </property>
        <!-- 开启日志 -->
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
        <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
        </property>
</configuration>

slaves

hbase3
hbase4
hbase5

d.集群初始化

　　// 启动zookeeper

　　// 格式化zkfc

　　// 启动journalnode

　　// 格式化hfds

　　// 将元数据目录拷贝到stangby节点

　　// 关闭journalnode

e.启动集群

《参考：https://blog.youkuaiyun.com/carl810224/article/details/52160418》

转载于:https://www.cnblogs.com/cqdxwjd/p/9939999.html

YDK1912
关注
Hadoop2.0到Hadoop3.0简述
weixin_43576422的博客
08-17 2373
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），其中一个组件是HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS
hadoop 1.0 && hadoop 2.0对比
P_king的博客
03-18 1485
hadoop 1.0 && hadoop 2.0对比 hdfs 1.0 NameNode管理着整个文件系统，负责接收用户的操作请求 NameNode管理着整个文件系统的目录结构，所谓目录结构类似于我们Windows操作系统的体系结构 NameNode管理着整个文件系统的元数据信息，所谓元数据信息指定是除了数据本身之外涉及到文件自身的相关信息 NameNode保管着文件与block块序列之间的对应关系以及block块与DataNode节点之间的对应关系 在hadoop..
搭建 hadoop2 自动切换HA 集群
weixin_33829657的博客
05-31 129
hadoop2 比 hadoop1的一些新的功能：其中HA解决了hadoop1的单点故障问题1) 各节点：namenode：master slave3datanode：slave1 slave2slave3journalnode：master slave1 slave3zookeeper:master slave1 slave32)hadoop2 搭建在...
大数据学习-Hadoop生态章---(二) HA高可用
fg19941101的博客
01-13 250
大数据学习-Hadoop生态章 (二) HA高可用 2.1. Hadoop 2.0产生背景 Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题。 HDFS存在的问题（如下图）： NameNode单点故障，难以应用于在线场景 NameNode压力过大，且内存受限，影响系统扩展性 MapReduce存在的问题 JobTracker访问压力大，影响系统扩展...
Hadoop 2.0生态圈技术简介
qq_38903177的博客
10-21 514
Hadoop 2.0生态圈
Hadoop1.0与Hadoop2.0的区别
web13524385009的博客
08-16 3712
这几天面试时有人问到过，这里我就简单整理下。
Hadoop2.0的HA介绍
红豆和绿豆的博客
01-19 560
1 概述  在hadoop2.0之前，namenode只有一个，存在单点问题（虽然hadoop1.0有secondarynamenode，checkpointnode，buckcupnode这些，但是单点问题依然存在），在hadoop2.0引入了HA机制。hadoop2.0的HA机制官方介绍了有2种方式，一种是NFS（Network File System）方式，另外一种是QJM（Quoru
hadoop1.0 和 Hadoop 2.0 的区别
superviser3000的博客
07-27 3357
1.Hadoop概述 在Google三篇大数据论文发表之后，Cloudera公司在这几篇论文的基础上，开发出了现在的Hadoop。但Hadoop开发出来也并非一帆风顺的，Hadoop1.0版本有诸多局限。在后续的不断实践之中，Hadoop2.0横空出世，而后Hadoop2.0逐渐成为大数据中的主流。那么Hadoop1.0究竟存在哪些缺陷，在它升级到Hadoop2.0的时候又做出了怎样的调整，最终使得Hadoop2.0成为大数据的基石呢？ 2.Hadoop1.0 首先我们来看hadoop1.0的整体结构
hadoop 2.0
qq_37863962的博客
06-01 421
hadoop 2.0
Hadoop2.0 HA的checkpoint过程
Amber_amber的专栏
07-22 7411
hdfs将文件系统的元数据信息存放在fsimage和一系列的edits文件中。在启动HDFS集群时，系统会先加载fsimage，然后逐个执行所有Edits文件中的每一条操作，来获取完整的文件系统元数据。 Edits & fsimage文件 HDFS的存储元数据是由fsimage和edits文件组成。fsimage存放上次checkpoint生成的文件系统元数据，Edits存放文件系统操
简述Hadoop2.0相对于Hadoop1.0的改进与提升
05-11
Hadoop 2.0相对于Hadoop 1.0来说，改进和提升了很多方面，主要包括以下几点： 1. 改进了YARN（Yet Another Resource Negotiator）框架，将资源管理和任务调度分离，使得Hadoop可以运行更多类型的应用程序，而不仅仅...
课堂总结。
2502_90679828的博客
04-23 436
下载安装包：注意选择kafka的版本，以及scala的版本。首先进到software目录当中，如下图所示：然后将安装包上传上来解压之后的效果如下图所示，并把原始kafka文件名重命名一下：重命名之后的效果如下图所示：解压过后的目录如下图所示：上传安装包到集群中，并解压。0: node011: node022: node03·需要修改的第二个地方是修改为：（去掉注释，把主机名称改了）·第三个修改的地方为添加以下语句：在这里添加：·修改日志的存放路径：（Kafkadata目录不需要提前创建，它可以自动创建好。
Spark-Streaming简介 核心编程
2402_84631040的博客
04-22 548
2. Spark-Streaming架构：包含背压机制，1.5版本前靠设置静态参数限制Receiver数据接收速率，易导致资源利用率低。1. RDD队列创建DStream：可利用 ssc.queueStream(queueOfRDDs) 创建DStream，队列中的每个RDD都会被当作一个DStream处理。定义：用于处理流式数据，支持多种数据输入源，可运用Spark原语运算，结果能保存于多处。特点：易用，支持多语言编写实时计算程序；易整合，能在Spark上运行，结合离线处理实现交互式查询。
企业内训｜模拟AI场景课程——某汽车厂商
weixin_48649532的博客
04-26 520
4月18日和19日，东北某市，TsingtaoAI团队为某汽车厂商的智能驾驶业务和研发团队交付“模拟AI场景课程”。本课程基于该厂商在AI领域的战略布局，结合汽车行业智能化转型趋势，以“场景化、实战化、前瞻性”为核心，聚焦AI技术从理论到落地的全链路。通过模拟真实业务场景（如智能座舱优化、智能制造、自动驾驶仿真），帮助学员掌握AI基础能力，并快速应用于研发、生产、营销等环节。
【分布式系统中的“瑞士军刀”_ Zookeeper】一、Zookeeper 快速入门和核心概念
qq_58611691的博客
04-25 1203
读完本篇文章相信已经了解了在 CentOS 7 系统中安装和配置 Zookeeper 的方法，以及 Zookeeper 的核心概念，包括 ZNode 节点、Session 会话、Watcher 监听器和 Leader - Follower 模式。同时，还通过实际的命令操作和代码示例，对这些概念有了更直观的认识。Zookeeper 作为分布式协调的重要工具，其功能远不止于此，后续还可以深入学习其在分布式锁、配置管理、服务注册与发现等方面的应用。
数据分析岗位-相关知识
最新发布
Xiaobaiforgod的博客
04-26 287
OLTP（Online Transaction Processing在线事务处理）和 OLAP（Online Analytical Processing在线分析处理）是两种主要的数据处理模式。举个例子：MySQL 之类的关系型数据库，MongDB 之类的NoSQL的OLTP。ES之类的算OLAP。关系型数据库范式（123NF）：保证数据一致性，减少冗余；数仓建设的星型/雪花模型：优化分析查询性能；
/sbin/start-dfs.sh
m0_73770012的博客
04-25 148
【代码】/sbin/start-dfs.sh。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值