HA hadoop部署(20211208五节点集群测试跑通版,附带ha-hbase)

本文档详细介绍了如何在Hadoop高可用性(HA)环境中配置HBase的完全分布式模式。关键步骤包括设置Hadoop HA的QJM,注意避免使用root用户组和解决snappy压缩配置问题。博客提供了快速部署的简化配置,虽然可能不包含所有配置项,但足以启动并运行HBase。此外,强调了版本兼容性的重要性,如Hadoop 2.x与Zookeeper选主以及HBase的版本选择。最后,列出了hbase-env.sh和hbase-site.xml的配置示例,以及regionservers和backup-masters的设置。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

官网文档:https://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html

直接参考:https://blog.youkuaiyun.com/aubekpan/article/details/87213303

参考的博客要注意的是,hadoop好像不能直接用root用户组;用core-site.xml 和mapred-site.xml 有snappy压缩的 配置项可能会报出错(native snappy library not available。。。),删除掉就可以了,参考博客高亮了重要部分,不同于secondarynamenode 集群的配置

最后

官网的内容太多,又没给一个可快速部署的例子,需要一部分一部分组合,需要进一步了解清楚各模块。参考博客是快捷部署,可能配置项不全,但是能跑起来。至少要运行 pi计算吧。

HBASE配置-必须在ha-hadoop的基础上配置

hbase-env.sh配置

export JAVA_HOME= 
export HADOOP_HOME= 
export HBASE_MANAGES_ZK=flase

hbase-site.xml配置

<configuration>
	<property>
		<name>hbase.zookeeper.quorum</name>
		<value>m1,m2,s1,s2,s3</value>
	</property>
	<property>
		<name>hbase.zookeeper.property.clientPort</name>
		<value>2181</value>
	</property>	
	<property>
		<!-- hbase在hdfs存放路径 -->
		<name>hbase.rootdir</name>
		<value>hdfs://alterpan/hbase</value>
	</property>	
	<property>
		<!-- 打开完全分布式模式 -->
		<name>hbase.cluster.distributed</name>
		<value>true</value>
	</property>	
	
	<property>
		<name>hbase.zookeeper.property.dataDir</name>
		<value>/tmp/hbase/zookeeper</value>
	</property>	
	
	<property>
		<!-- 这里因为要HMaster的HA,不需要指定域名 -->
		<name>hbase.master</name>
		<value>60000</value>
	</property>
</configuration>

regionservers配置

s1
s2
s3

新建backup-masters文件,并添加备用主节点

m2

总结:版本兼容性,看hbase官网文档,不骗你们,我就是版本不兼容问题卡了好久。hadoop2版本才能用zookeeper选主,hbase兼容版本才能支持hdfs的nameservices的方式。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值