HBase部署踩坑

最新推荐文章于 2023-03-28 19:49:15 发布
原创 最新推荐文章于 2023-03-28 19:49:15 发布 · 258 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hbase #hadoop

本文解决了一个HBase 2.0.6版本中HMaster进程启动后自动挂掉的问题。该问题源于Hadoop 3.1.1版本不支持HBase所需的hsync功能。通过修改hbase-site.xml配置文件中的hbase.unsafe.stream.capability.enforce参数为false，成功解决了此问题。

1.HMaster自动挂掉

版本如下

  • HBase2.0.6
  • Hadoop3.1.1

HBase启动后不久，HMaster进程自动挂掉，查看HBase的日志发现如下问题

cat /opt/hbase-2.0.6/logs/hbase-root-master-node-1.log


Hbase需要底层文件系统支持hsync功能，但是底层文件系统不支持hsync功能。之前Hadoop2.x就没有这样的问题，可能是Hadoop的版本过高导致的问题，修改hbase-site.xml文件配置，即可解决。

vi /opt/hbase-2.0.6/conf/hbase-site.xml

<property>
<name>hbase.unsafe.stream.capability.enforce</name>
<value>false</value>
</property>

修改配置之后重启HBase集群
在这里插入图片描述

Hbase 安装搭建并部署 还有可能遇到的坑
AceCream的博客
09-21 417
1.前提条件： JDK1.8 Hadoop 2.7 以上版本部署完毕 2.安装Hbase 在官网下载安装包，推荐1.x版本的Hbase，比较稳定，而且可以适配Kylin。目前Kylin不支持2.x的Hbase 下载好拷贝到自己的软件目录 我的是 /opt/soft/ 执行 tar -zxvf解压hbase的tar包 然后执行 chown - R alone:root hbase目录 给当前用...
hbase 踩坑：hbase大面积读写卡死问题定位分析
最新发布
sikoutang的博客
05-31 862
setAttribute0(env, fd, RECEIVE_TIMEOUT, DEFAULT_RECEIVE_TIMEOUT)，设置读数据超时 DEFAULT_RECEIVE_TIMEOUT = 120000 毫秒。1、优先从datanode的数据目录删除有问题的磁盘，执行 hdfs dfsadmin -reconfig datanode datanode1:50020 start。生成环境中hbase和hdfs部署在一起，开启了短路读提高性能。hbase 踩坑：hbase大面积读写卡死问题定位分析，
hbase 搭建遇到的问题
Candy_61的专栏
10-09 698
搭建hbase的时候遇到这个问题 org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed setting up proxy interface org.apache.hadoop.hbase.ipc.HRegionInterface to localhost/127.0.0.1:33446 after attempts=1
搭建 hbase 遇到的各种问题
weixin_30540691的博客
12-29 192
所有问题归根到底都是hadoop与hbase的版本不匹配的问题！！！ 最后经验证hadoop 2.8.4 hbase 2.0.3 没有问题（但是hbase2.0.3使用的java接口，有些class过时（比如：HbaseAdmin、HTable）没有想要的方法对应，为此暂时使用1.3.2） 在搭hbase的集群，由于rootdir 保存在hdfs://上，在调整版本的时候一定要...
hadoop环境搭建hbase的一些问题
Losteng的博客
06-30 872
最近在学习hadoop的相关的工具，首先从环境入手，发现一些在搭建过程中遇到的一些问题，现在总结一下。 1，hadoop的hdfs的问题，主要是进行多次格式化造成的 dfs的data，中的version与dfs的name中的version的clusterID不一致，造成datanode或者namenode启动异常。 这种问题的解决方法主要是可以将clusterID复制到对应的节点的v
[hadoop、Hbase错误解决合集] Hbase的Hmaster进程启动后自动关闭的问题解决方法
枪枪枪的博客
04-01 8181
============================================================================== 现象 1.日志中提示： ERROR [Thread-14] master.HMaster: Failed to become active master 2.进入hbase shell中进行数据库操作提示： KeeperErrorCode =...
Hbase踩坑记录
qq_34137395的博客
11-08 1749
  问题1： 今天一个项目在腾讯云环境部署，用到ZK+Hbase+Hadoop+storm，部署完之后，启动工程遇到如下日志： Caused by: java.net.SocketTimeoutException: callTimeout=60000, callDuration=68737: row 'business_new_info_exd,,' on table 'hbase:meta...
Hbase安装流程及踩坑心得
Ally_one的博客
07-19 1802
关于安装zookeeper和hbase 前言 网上已经有相当多的zookeeper和hbase的安装教程了。那为什么总是在安装的时候，还是可以遇到那么多问题。 有话说 搭建一个自己的大数据平台，手把手安装大数据相关组件，从组件的版本匹配，组件源下载，再到着手解压配置。一个环境搭建下来，我发现我可能需要浏览数几十个页面，才能真的完成我的搭建流程。鉴于之前在学习的过程中，曾经给一位朋友写了一份非常详细的hadoop集群搭建的说明书。记录一下这一次在从最基础的hadoop集群搭建，到各个组件的安装配置。由于精
janusGraph+hbase+es搭建踩坑记录
UpUp的博客
01-09 3889
janusGraph集群搭建前言软件下载配置步骤hadoop安装zookeeper安装hbase安装elasticsearch安装janusGraph安装测试安装结果问题汇总 前言 janusGraph的资料实在又少又杂，近日搭建了一个集群，写下踩坑记录。由于janusGraph可以自由配置后端存储和索引。之前先写了一个非root用户的hadoop搭建，本文在那篇文章的基础上继续搭建。 涉及部分服务器，节点描述都和hadoop搭建的相同、 非root用户的hadoop搭建。 软件下载 本次搭建的版本为had
【HBase之轨迹】（1）使用 Docker 搭建 HBase 集群
Ice__Clean的博客
02-22 3721
继 hadoop 和 zookeeper 之后，再次使用 docker 搭建 hbase 集群，详细说明搭建过程以及 docker 搭建过程中会才踩到的坑。同时
hbase启动的时候出现java.lang.IllegalStateException
qq_39760495的博客
08-19 511
hbase启动的时候出现下面这个错误： java.lang.IllegalStateException: The procedure WAL relies on the ability to hsync for proper operation during component failures, but the underlying filesystem does not support doing so. Please check the config value of ‘hbase.procedure
hbase 部署HA各种问题
weixin_34007879的博客
05-21 977
1、jar包问题，hadoop高版本中的htrace没有需要的类，需要从hadoop低版本里面复制一个jar包。 2、hdfs://mycluster/hbase mycluster必须在hosts文件中指定ip地址，否则无法找到 3、Operation category READ is not supported in state standby。 hmaster无法在一个stand...
HBase 2.2.2 on Hadoop 3.2.1源码编译
allenjsl的专栏
05-18 465
《HBase 2.2.2 on Hadoop 3.2.1完全分布式部署》中，我们提到需要在hbase-site.xml中增加如下配置： <property> <name>hbase.unsafe.stream.capability.enforce</name> <value>false</value> <description> Controls whether HBase will check for stream capabili
关于HBase集群中的Hmaster节点刚启动就挂掉的解决方法
weixin_43520450的博客
02-13 3875
关于HBase集群中的Hmaster节点刚启动就挂掉的解决方法
Hadoop之Hbase的配置（详细步骤）
大数据
11-03 6179
前期准备 将 hadoop-2.7.6.tar.gz压缩包上传到xshell并解压 解压命令 tar -zxvfhadoop-2.7.6.tar.gz tar -zxvfhadoop-2.7.6.tar.gz 配置 1、配置 hbase-env.sh vim hbase-env.sh 在文件最后面增加 export JAVA_HOME=/home/ZQ/jdk1.8.0_271 export HBASE_MANAGES_ZK=true 2、配置 hbase-site.x..
HBase编程实践
qq_50917794的博客
10-11 1196
HBase编程实践一、HBase 2.2.2安装二、HBase配置伪分布式模式配置三、HBase编程实践利用Shell命令HBase Java API编程实践 一、HBase 2.2.2安装 1.1解压安装包hbase-2.2.2-bin.tar.gz至路径 /usr/local，命令如下： 1.2 将解压的文件名hbase-2.2.2改为hbase，以方便使用，命令如下： cd /usr/local sudo mv ./hbase-2.2.2 ./hbase 下面把hbase目录权限赋予给hadoop用
自学大数据第十一天~Hbase
Gavin
03-28 803
通过这种方式实现的工具主要有 Hindex(华为开发); 专门针对Hbase数据库开发,支持多个表的索引也支持多个列的索引,也支持基于部分列值的索引; 但是这会对机器的性能带来影响,每插入一条数据,就会向索引表插入数据,这回加大对IO的消耗;
云计算与大数据实验七 HBase的安装与基本操作
qq_64314976的博客
12-31 2014
非常消耗资源，所以你在长时间没使用命令行后台会回收资源，如果你想保持环境不被注销，请在弹出延时窗口时点击延时，并且保持操作命令行，这样可以保持你的环境一直持续。要新建一个表，首先必须要给它起个名字，并为其定义模式，一个表的模式包含表的属性和列族的列表。的安装也分为三种，单机版、伪分布式、分布式；当然我们肯定还会有一个需求：查看所有的数据。不改这个配置，数据会在重启的时候丢失；有时候我们还想将创建好的表删除，怎么做呢？需要是'完全正确'的，还要包含文件系统的。现在，我们来创建一个简单的表。
HBASE报错汇总及故障解决
玉儿小跟班
07-08 5461
查询HBASE日志： cd/home/hadoop/software/hbase-1.3.1/logs tail -100f hbase-root-master-主机名.log 报错1： util.FSUtils: Waiting for dfs to exit safe mode... 解答：这个是HBASE没有关闭安全模式导致的，bin/hbase shell能够正常连接数据库，但使用hbase命令如list会报如上错误。 解决： su hadoop cd /home/hadoop/..
Hadoop与HBase部署详解：三主机环境配置教程
本文档详细介绍了如何在Hadoop和HBase平台上进行部署，针对Hadoop部分，重点在于构建一个可靠的分布式存储系统，包括HDFS和MapReduce组件。Hadoop的核心在于其容错性和大数据处理能力，通过在多台廉价硬件上复制数据...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小宇0926

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值