hbase 启动失败,Please check the config value of 'hbase.procedure.store.wal.use.hsync'

HBase伪分布(单机)安装(二) HBase安装: 先用命令 tar -zxvf hbae1.4.13-bin.tar.gz -C /opt/ 解压安装包到opt目录下面 阅读详情
  • 环境:

JDK1.8
Hadoop 2.7.1
Zookeeper 3.4.6
Hbase 2.0.0
Apache Phoenix-5.0.0-Hbase-2.0.0

从hadoop到hbase的环境搭建一切正常,可直接参照网上教程,这里不累述。

这里记录一下我在配置phoenix连接hbase的时候遇到的问题。
直观的看是HMaster先能启动,过一会又自动挂掉。日志错误信息如下:

ERROR [master/YSL-MASTER:16000] master.HMaster: Failed to become active master
java.lang.IllegalStateException: The procedure WAL relies on the ability to hsync for proper operation during component failures, but the underlying filesystem does not support doing so. Please check the config value of 'hbase.procedure.store.wal.use.hsync' to set the desired level of robustness and ensure the config value of 'hbase.wal.dir' points to a FileSystem mount that can provide it.
	at org.apache.hadoop.hbase.procedure2.store.wal.WALProcedureStore.rollWriter(WALProcedureStore.java:1043)
	at org.apache.hadoop.hbase.procedure2.store.wal.WALProcedureStore.recoverLease(WALProcedureStore.java:382)
	at org.apache.hadoop.hbase.procedure2.ProcedureExecutor.start(ProcedureExecutor.java:530)
	at org.apache.hadoop.hbase.master.HMaster.startProcedureExecutor(HMaster.java:1222)
	at org.apache.hadoop.hbase.master.HMaster.startServiceThreads(HMaster.java:1141)
	at org.apache.hadoop.hbase.master.HMaster.finishActiveMasterInitialization(HMaster.java:849)
	at org.apache.hadoop.hbase.master.HMaster.startActiveMasterManager(HMaster.java:2019)
	at org.apache.hadoop.hbase.master.HMaster.run(HMaster.java:553)
	at java.lang.Thread.run(Thread.java:748)

官网说明:http://hbase.apache.org/book.html#trouble.master.startup.hsync。 看了之后还是不知道怎么解决。

自己尝试了很多方法,换hadoop版本、修改hbase配置,替换hbase/lib目录下hadoop相关jar包(先删除原jar包),这里记录一下替换命令:find /usr/local/hadoop-2.7.1/share/hadoop -name "hadoop*jar" | xargs -i cp {} /usr/local/hbase-2.0.0/lib/。网上也有说换hbase版本(未尝试)。
网上最多的方法就是:

hbase/conf/hbase-site.xml增加配置 
<property>
	<name>hbase.unsafe.stream.capability.enforce</name>
	<value>false</value>
	<description>
		Controls whether HBase will check for stream capabilities (hflush/hsync).
	    Disable this if you intend to run on LocalFileSystem, denoted by a rootdir
	    with the 'file://' scheme, but be mindful of the NOTE below.
	    WARNING: Setting this to false blinds you to potential data loss and
	    inconsistent system state in the event of process and/or node failures. If
	    HBase is complaining of an inability to use hsync or hflush it's most
	    likely not a false positive.
    </description>
</property>
该配置的作用是:如果你打算在本地文件系统中跑hbase,请禁掉此项。而我这里是将hbase跑在hdfs文件系统上,所以不能配置此项。

我的解决方法:删除每个节点hbase/lib目录下的phoenix-××-client.jar包,重启hbase即可。
在这里插入图片描述
具体原因我也还没搞清楚,以后再更新。
附上:hadoop-hbase 版本对应关系

记录下hbase/conf/hbase-site.xml中添加的配置:

<property>
  	<name>phoenix.schema.isNamespaceMappingEnabled</name>
    <value>true</value>
    <description>开启schema与namespace的对应关系</description>
</property>
<property>
	<name>phoenix.schema.mapSystemTablesToNamespace</name>
  	<value>true</value>
  	<description>开启schema与namespace的对应关系</description>
</property>
<property>
    <name>phoenix.functions.allowUserDefinedFunctions</name>
    <value>true</value>
    <description>允许用户自定义函数(UDF)</description>
</property>
<property>
    <name>hbase.regionserver.wal.codec</name>
    <value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value>
    <description>开启phoenix 二级索引</description>
</property>
<property>
    <name>hbase.regionserver.executor.openregion.threads</name> 
    <value>100</value>
    <description>打开用户表region的线程数量(默认3)</description>
</property>
<property>
    <name>phoenix.default.column.encoded.bytes.attrib</name>
    <value>0</value>
    <description>不对hbase列进行编码存储</description>
</property>
HBase&HDFS异构存储的使用&简单介绍 使用方式: 首先,开启hdfs异构存储策略,配置项是——dfs.storage.policy.enabled,该配置默认是开启的(true); 第二步,需要将机器物理硬件上已经部署好的磁盘配置添加到hdfs的配置项dfs.datanode.data.dir中,需要注意的对于SSD盘或者RAM_DISK需要打上特殊的标记,类似[SSD]、[RAM_DISK],配置示例如下: 阅读详情

相关推荐

群晖Git Server权限配置全攻略:如何让普通用户(非admin)也能安全提交代码?

本文详细解析了群晖Git Server权限配置方案,特别针对普通用户(非admin)安全提交代码的需求。通过SSH服务配置、精细化用户权限管理及仓库创建自动化脚本,实现在DS218+等群晖NAS设备上的高效代码协作,同时确保系统安全。

weixin_42528780的博客 463

Please check the config value of 'hbase.procedure.store.wal.use.hsync'

启动hbase的时候报错: java.lang.IllegalStateException: The procedure WAL relies on the ability to hsync for proper operation during component failures, but the underlying filesystem does not support doing so...

1741

开发框架Furion之WebApi+SqlSugar (一)

MyFurion.Model项目中,通过Nuget添加Furion、Furion.Extras.DatabaseAccessor.SqlSugar、Furion.Extras.ObjectMapper.Mapster、SqlSugarCore,同时添加对项目MyFurion.Unility的引用。在MyFurion.Start项目中,通过Nuget添加 AspNetCoreRateLimit、System.Linq.Dynamic.Core,同时添加对项目MyFurion.Application的引用。

liwan09的博客 1万+

学习hadoop遇到的问题(hbase整合Phoenix报'hbase.procedure.store.wal.use.hsync')

从hadoop到hbase的环境搭建一切正常,可直接参照网上教程,这里不累述。 这里记录一下我在配置phoenix连接hbase的时候遇到的问题。 直观的看是HMaster先能启动,过一会又自动挂掉。日志错误信息如下: ERROR [master/YSL-MASTER:16000] master.HMaster: Failed to become active master java.lan...

小马哥的博客 1873

Excel VBA | 一键批量生成对账单

根据对账单总表一键批量生成N家独立的客户对账单。

Microgoblins的博客 6982

PyCharm高效配置Gitee全攻略

本文介绍了如何在PyCharm和VS Code中配置Gitee插件并管理代码。主要内容包括:1) PyCharm连接Gitee的配置步骤;2) 代码拉取与冲突解决方法;3) VS Code界面功能区域详解;4) 完整的代码提交流程(暂存→提交→推送)。特别说明了VS Code中Git面板的使用方法,以及推送代码到Gitee远程仓库的具体操作步骤。文章还提供了解决代码冲突的建议和注意事项,帮助开发者更好地进行版本控制。

ZhangJiqun&191cm&85kg 298

Hbase启动后HMaster立即挂掉报错解决 报错Failed to become active masterjava.lang.IllegalStateException

重启hbase即可解决。

weixin_50347449的博客 724

【GameFramework框架内置模块】9、有限状态机(FSM)

这篇文章分享FSM有限状态机,了解过StarForce源码的同学相比都比较了解,GameFramework框架给我们抽象了一个Procedure流程的概念。这个Procedure流程可以方便的处理我们游戏从启动到游戏的各个流程阶段的处理逻辑,实现的核心就是FSM状态机,内部的Procedure流程就是不同的FsmState状态。接下来,就是FSM有限状态机的教程了。有限状态机(Finite-state machine,FSM)

优快云博客专家,Unity3D高级软件工程师,《Unity 3D从入门到实战》作者。 2530

开启Hbase服务后,Hmaster服务突然消失

先去查看hbase的日志文档,发现出现以下显示 master.HMaster: Failed to become active master The procedure WAL relies on the ability to hsync for proper operation during component failures, but the underlying filesystem does not support doing so. Please check the config value

Above the cloud 353

Python控制程控电源(USB)

随着智能电动汽车行业的持续发展,汽车电子或嵌入式设备在软硬件的测试中,都会使用程控电源供电,特别是自动化测试、压力测试场景必定使用到程控电源控制,控制电源上下电,监听电源电流、电压等,以下就以常见的艾德克斯程控电源为例,分享如何通过USB连接方式Python语言来控制程控电源。

测试领域技术分享 2864

自动驾驶系统研发系列—全智能驾驶新高度:深入解析车道保持辅助(ELK)功能

车道保持辅助系统(ELK)是一种基于先进视觉感知技术的主动安全系统,能够通过车载摄像头实时监测道路上的车道线、道路边缘以及周围车辆的位置。这一功能的核心在于为驾驶员提供智能化的安全辅助,尤其是在驾驶员可能因疲劳、分心或其他原因无意识地偏离车道时,系统能够主动干预,从而避免危险发生。ELK系统不仅仅依靠摄像头对道路进行感知,还结合其他传感器的数据(如雷达),实时评估自车与车道线、周边车辆的相对位置。当系统检测到车辆即将偏离车道,或越过道路边缘时,ELK会通过控制电子助力转向系统(EPS)

u013889591的专栏 1210

hbase启动的时候出现java.lang.IllegalStateException

hbase启动的时候出现下面这个错误: java.lang.IllegalStateException: The procedure WAL relies on the ability to hsync for proper operation during component failures, but the underlying filesystem does not support doing so. Please check the config value of ‘hbase.procedure

qq_39760495的博客 561

6、基于集成学习技术的边坡稳定性预测及滑坡易发性研究

本研究基于集成学习技术对云阳县的边坡稳定性及滑坡易发性进行预测分析。通过比较SVM、RF、XGBoost和LR四种模型,发现集成学习模型在准确率和少数类识别方面表现更优。特征重要性分析表明剖面形状是影响边坡稳定性的关键因素。同时,引入基于定性分析的分区建模方法,构建父模型与子区域模型,提升了滑坡易发性制图的精度。研究成果为地质灾害的预防与管理提供了科学依据和技术支持。

peach的博客 126

Hadoop安装Hbase启动失败报错解决方法

前言 本篇文章结合多篇博客文章解决方案具体汇总,方便遇到问题以后好解决问题。 本人大数据专业初入大三刚刚接触并开始学习Nosql数据库原理,当然初入一些算法和原理还不是很熟练掌握,有待提升自己的编程结合能力。在此领域本人有诸多不明确疑问,可能文章会有些许错误,望大家在评论区指正,本篇文章错误将会不断更正维护。 先进入hbase文件目录里看日志文件看看报什么错再具体解决: vi /usr/local/hbase/logs/hbase-hadoop-master-hadoop.log 1.报错or

master_hunter的博客 1万+

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

hbase 启动失败的解决办法

常见的hbase启动失败问题的解决办法

weixin_52136304的博客 3941

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

hbase启动出错

启动hbase后无法访问进入shell端出现如下错误。清理一下hbase即可。

恨_别离的博客 652

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

HBase无法启动的相关问题

1 问题VMWare下centos7在下载好HBase并解压配置环境后运行jps后缺少HMaster在确定安装和环境配置上没问题后开始逐渐查找问题2 方法开始排查后发现是hbase-site.xml文件里的配置有问题。Hbase.cluster.distributed标签设置是否是分布式安装,我安装采用的是伪分布式安装,那参数的值应该为true,而hbase.unsafe.stream.capab...

算法与编程之美 1028

HBase无法正常启动,报错:master.HMaster: Failed to become active masterorg.apache.hadoop.security.AccessContr

1.chown命令修改所有节点zookeeper和hbase的用户和用户组,与hadoop保持一致。发现是因为权限不足导致zookeeper和hbase无法启动。2.然后先运行hdfs和zookeeper。4.16010端口可以正常访问。3.再运行hbase。

weixin_51789753的博客 522

Linux:Hbase环境搭建(单机模式)

HBase官网传送门:https://hbase.apache.org/ HBase官方下载地址:http://archive.apache.org/dist/hbase/ 下载:hbase-2.0.5-bin.tar.gz 将解压包上传到:/opt/deployEnvironment/hbase # 解压 tar -zxvf hbase-2.0.5-bin.tar.gz # 打开环境变量配置文件 vim /etc/profile # 添加环境变量 export HBASE_HOME=/opt/dep

Yal_insist的博客 3042

hbase启动失败问题解决

hbase启动失败问题解决 1.查看:输入命令jps,能看到NameNode,DataNode和SecondaryNameNode都已经成功启动,表示hadoop启动成功。具体进程有:HRegionServer、HMaster、HQuorumPeer,表示HBase启动成功。 2.通过默认端口号16010 访问 在浏览器中使用http://localhost:16010/master-status访问HBase的web端 3.也可以在/usr/local/hbase/conf/hbase-site.xml文

王小行的博客 4404

Hbase启动失败

环境:hadoop  2.6.5            habse    1.2.6.1  ----测试为单机伪分布式部署            redhat 6.4 64bit 1.配置文件 &lt;HBASE_HOME&gt;/conf/hbase-env.sh export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk.x86_64 ----...

aryoyo的博客 1万+

hadoop.zookeeper.hbase的hbase中master和regionserver无法启动

刚启动hbase时master无法启动查看日志说找不到hadoop的namenode,原因我启动两个namenode而在hbase中写了一个namenode地址,刚好写的namenode地址是standby模式,所以无法启动。 解决方案:将hbase.rootdir 改为nemeservices的值,我的值为ns 之后启动后只有Hmaster启动resgionserver都是启动后秒

向曾经的自己说声谢谢的博客 956

Hbase安装~Hbase安装过程中常见的问题

HBase的运行依赖于Zookeeper,Hadoop HBase安装 1.解压文件 tar -zxvf hbase-1.3.1-bin.tar.gz 2.配置文件 1)hbase-env.sh 修改内容 export JAVA_HOME=/usr/local/jdk1.8.0_131 export HBASE_MANAGES_ZK=false 2)hbase-site.xml 修改内容 <configuration> <property> <nam..

houkai的博客 8415

解决hbase shell 启动失败问题-hbase 2.4.12-hadoop 3.3.1

1. 方案 看hbase官网这两个版本应该是兼容的,但是实际上有包冲突,解决方案是用hadoop包替换hbase的包。 hbase 2.4.12 hadoop 3.3.1 2.报错 2.1 启动hbase shell 报错 java.lang.NoSuchMethodError: jline.console.completer---- (base) [root@node001 logs]# hbase shell LoadError: load error: irb/completion -- java.l

韦不二的博客 5232

HBase数据版本问题探究

首先hbase默认一个列族里面的行的version版本为1,查看的时候显示1个版本的数据   创建一张表student,有三个列族info,info2,info3,版本数为3(实质就是可以存放3份数据) create 'student',{NAME=&gt;'info',VERSIONS=&gt;3},{NAME=&gt;'info2',VERSIONS=&gt;3},{NAME=&gt;'i...

qq_32736999的博客 943
上一篇: linux下 创建tomcat启动关闭快捷方式
下一篇: phoenix varchar 空字符串等于null的坑
松林羊
博客等级 码龄11年 43粉丝 58原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值