hbase启动的时候出现java.lang.IllegalStateException

最新推荐文章于 2024-11-23 00:34:42 发布

原创最新推荐文章于 2024-11-23 00:34:42 发布 · 512 阅读

0 ·

CC 4.0 BY-SA版权

在启动HBase时遇到一个错误，提示WAL（Write-Ahead Log）依赖于hsync功能，但底层文件系统不支持。为了解决这个问题，可以在hbase-site.xml配置文件中添加新的配置项：将'hbase.unsafe.stream.capability.enforce'设置为'false'，以禁用对流能力的强制检查，确保服务能够正常启动。

hbase启动的时候出现下面这个错误：
java.lang.IllegalStateException: The procedure WAL relies on the ability to hsync for proper operation during component failures, but the underlying filesystem does not support doing so. Please check the config value of ‘hbase.procedure.store.wal.use.hsync’ to set the desired level of robustness and ensure the config value of ‘hbase.wal.dir’ points to a FileSystem mount that can provide it

解决方法：
在hbase-site.xml中增加下面这个配置

<property>
<name>hbase.unsafe.stream.capability.enforce</name>
<value>false</value>
</property>

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

菜鸡学渣蛙

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

解决：Spark-HBASE Error Caused by: java.lang.IllegalStateException: unread block data

jxj21的博客

05-09

5756

参考：1 http://stackoverflow.com/questions/31701273/setting-spark-classpaths-on-ec2-spark-driver-extraclasspath-and-spark-executor 参考：2 http://stackoverflow.com/questions/34901331/spark-hbase-error-java

Hbase启动后HMaster立即挂掉报错解决报错Failed to become active masterjava.lang.IllegalStateException

weixin_50347449的博客

05-27

677

重启hbase即可解决。

参与评论您还未登录，请先登录后发表或查看评论

HBASE:hmaster启动报错

Fr1nge_KaMi的博客

05-30

2061

我在安装部署完成之后，进入hbase shell，发现无法成功创建表。最后，发现是在hmaster启动时报错了，log信息如下： java.lang.IllegalStateException: The procedure WAL relies on the ability to hsync for proper operation during component failures, but ...

HBASE中Hmaster启动后自动挂掉的问题

qq_29500875的博客

05-17

7087

log文件报错java.lang.IllegalStateException: The procedure WAL relies on the ability to hsync for proper operation during component failures, but the underlying filesystem does not support doing so. Please...

HBase异常：java.lang.IllegalArgumentException

yi_shi_tou的博客

10-14

2040

【异常】java.lang.IllegalArgumentException: offset (0) + length (8) exceed the capacity of the array: 1 当通过API操作HBase时，我们可能一不小心就会碰到这样一种情况： java.lang.IllegalArgumentException: offset (0) + length (8) exceed the capacity of the array: 1 at org.apache.hadoop.hb.

命令行运行Hbase: Session 0x0 for server null, unexpected error

云计算?

09-29

347

今天又重新看了下hbase的操作，以前虽说是运行过对Hbase的操作，比如直接的建表，导入数据，或者是使用MR操作Hbase，但是都是在单节点上做的，而且是用eclipse下操作的，不用担心一些包的问题。今天打算把代码拷贝到hadoop的lib下面，然后在命令行中运行，下午遇到的一个问题如下： 12/09/29 12:29:36 INFO zookeeper.ZooKeeper: Initiat...

向Hbase插入时，报错java.lang.IllegalArgumentException: KeyValue size too large的解决办法

u010476994的博客

11-03

9310

最近在向Hbase中插入数据时，报了个KeyValue size too large 的错误，具体报错信息如下：Error: java.lang.IllegalArgumentException: KeyValue size too large at org.apache.hadoop.hbase.client.HTable.validatePut(HTable.java:1567) a

解决ERROR [RS-EventLoopGroup-3-2] util.NettyFutureUtils: Unexpected error caught when processing netty

m0_66807384的博客

11-23

770

因为我发现我HDFS这里权限也没什么问题，我就换了地方来存，是在不行大家也可以试试把那个hbase-site.xml下面那个hdfs：//localhost：9000直接改本地文件系统（比如file:///path/to/hbase 你自己的目录）哪里都行只要不是hdfs。当设置为 filesystem。：如果系统需要频繁地写入 WAL 文件，并且不依赖于 HDFS，使用文件系统作为 WAL 存储可以提高性能。，这意味着 HBase 将使用文件系统来存储 WAL，而不是使用其他提供者，如 asyncfs。

ERROR zookeeper.ClientCnxn: Error while calling watcher java.lang.IllegalStateException: Received event is not valid: Closed at org.apache.hadoop.hbase.zookeeper.ZooKeeperWatcher.connectionEvent(ZooKeeperWatcher.java:707) at org.apache.hadoop.hbase.zookeeper.ZooKeeperWatcher.process(ZooKeeperWatcher.java:629) at org.apache.hadoop.hbase.zookeeper.PendingWatcher.process(PendingWatcher.java:40) at org.apache.zookeeper.ClientCnxn$EventThread.processEvent(ClientCnxn.java:535) at org.apache.zookeeper.ClientCnxn$EventThread.run(ClientCnxn.java:510)

06-19

`java.lang.IllegalStateException: Received event is not valid: Closed` 是 HBase 和 ZooKeeper 集成时常见的错误。此错误通常表明客户端与 ZooKeeper 服务器之间的连接被关闭，且事件处理逻辑未能正确处理这种...

Failed to monitor Job[-1] with exception 'java.lang.IllegalStateException(Connection to remote Spark driver was lost)' Last known state = SENT Failed to execute spark task, with exception 'java.lang.IllegalStateException(RPC channel is closed.)' FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. RPC channel is closed.

最新发布

06-22

### Spark任务执行时出现`java.lang.IllegalStateException`异常的解决方法在Hive on Spark环境中，当执行Spark任务时遇到`java.lang.IllegalStateException: Connection to remote Spark driver was lost`或`RPC ...

HBase Balancer失败日志报错 ERROR org.apache.hadoop.hbase.regionserver.handler.OpenRegionHandler

数据源的港湾

07-09

1207

现象 HBase shell下面打开Balance并手动执行Balancer很快结束，显示为false（此时balance_switch为true） hbase(main):007:0* balancer false 查看RegionServer日志有如下报错信息， 2020-07-08 16:49:01,821 INFO org.apache.hadoop.hbase.coordination.ZkOpenRegionCoordination: Opening of region {ENCODED

hbase报java.lang.IllegalArgumentException: No columns to insert

xjmfc的博客

07-10

1675

{"totalColumns":0,"families":{},"row":"#bda3e8a7b31e2f227"}302 java.lang.IllegalArgumentException: No columns to insert {"totalColumns":1,"families":{"info":[{"timestamp":9223372036854775807,"tag":[],"qualifier":"invalid_count","vlen":1}]},"row":"#7c9160

解决Hbase报错java.lang.IllegalStateException: The procedure WAL relies on the ability to hsync for....

呆萌的代Ma

07-24

1042

完整报错为： java.lang.IllegalStateException: The procedure WAL relies on the ability to hsync for proper operation during component failures, but the underlying filesystem does not support doing so. Please check the config value of 'hbase.procedure.store.wal.us

java连接hbase报错Caused by: java.lang.IllegalArgumentException: java.net.UnknownHostException: mycluster

m0_38089730的博客

02-27

3389

java连接hbase报错，因为hadoop配置了ha高可用，需要把hadoop的hdfs.xml文件放到resources文件夹就好了 log4j:WARN No appenders could be found for logger (org.apache.hadoop.security.Groups). log4j:WARN Please initialize the log4j sy...

java.lang.IllegalStateException: The procedure WAL relies on the ability to hsync for proper operati

qq_39474136的博客

11-29

1500

在部署HBase的时候，执行 start-hbase.sh命令，主节点一直起不来，后来到logs文件夹下面，看输出日志，结果报了错 java.lang.IllegalStateException: The procedure WAL relies on the ability to hsync for proper operation during component failures, but the underlying filesystem does not support doing so. Ple

集群提交HBase代码报错：Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.HBaseConfiguratio

SunnyRivers

09-26

3409

原因分析 HBase官网已经告诉我们原因以及解决方法了：原因：默认情况下，部署到MapReduce群集的MapReduce作业无法访问$ HBASE_CONF_DIR下的HBase配置或HBase类。解决方法：要为MapReduce作业提供所需的访问权限，可以将hbase-site.xml_添加到_ $ HADOOP_HOME / conf并将HBase jar添加到$ HADOOP_H...

深入解析java.lang.IllegalStateException异常

IT枫斗者的博客

03-03

3978

是Java中的一个非受检异常，它表示在不适当的时间或状态下调用方法在Java中，有一些常用的异常处理工具可以帮助我们更好地处理异常，例如：日志记录工具：如Log4j、Logback等，可以记录异常信息和错误日志，方便排查和分析问题。断言工具：如Assert类，可以在程序中添加断言语句，用于验证代码中的假设条件是否满足，帮助我们在开发和测试阶段快速发现问题。异常处理框架：如Spring框架中的异常处理机制，可以统一处理应用程序中的异常，提供统一的异常处理逻辑和错误信息返回。

使用web 访问hive出现HTTP ERROR 500

w3045872817的博客

08-07

1673

错误信息如下： HTTP ERROR 500 Problem accessing /hwi/. Reason: No Java compiler available Caused by: java.lang.IllegalStateException: No Java compiler available at org.apache.jasper.JspCompil

hbase日志文件中java.lang.NoClassDefFoundError怎么解决

05-10

### HBase 中 `java.lang.NoClassDefFoundError` 的解决方案当在 HBase 应用中遇到 `java.lang.NoClassDefFoundError` 错误时，通常表明某些必要的依赖项未被正确加载到运行环境中。以下是针对该问题的具体分析和解决方法： #### 1. **确认类路径配置** 如果应用程序抛出了 `java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/client/Scan` 类似的错误，则可能是因为缺少相应的 JAR 文件或者这些文件未能正确加载至类路径中。可以通过以下方式验证并修复： - 检查项目的构建工具（如 Maven 或 Gradle），确保已引入正确的 HBase 客户端库版本[^3]。 ```xml  <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>2.x.x</version>  </dependency> ``` - 对于手动管理依赖的情况，请将所需 JAR 文件复制到应用的 `lib` 目录下，并通过 `-cp` 参数指定完整的类路径。 #### 2. **调整 IDE 和本地开发环境设置** 当在本地开发环境中测试 HBase 程序时，可能会因为缺失部分依赖而导致此异常。例如，在 IDEA 上运行 MapReduce 程序时出现 `java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/mapreduce/MultiTableInputFormat` 可能是由以下原因引起[^2]: - 开发者仅提供了运行所需的最小化依赖集，但在执行阶段需要额外的支持库。解决方案包括但不限于： - 将项目打包成包含所有必要依赖的 Fat Jar (即 Uber-Jar)，以便在任何环境下都能正常运行。 ```bash mvn clean package shade:shade ``` - 修改 JVM 启动参数以显式声明外部资源位置： ```bash java -Djava.library.path=/path/to/libs -jar your-application.jar ``` #### 3. **检查 Hadoop 集群中的环境变量** 若是在分布式模式下操作 HBase 数据表却遭遇类似的 NoClassDefFoundError 报告，则需重点审查服务器节点上的环境初始化脚本是否遗漏了关键条目。比如 Atguigu 提供的例子展示了如何编辑 `hadoop-env.sh` 来补充 Java Options 设置从而规避此类风险[^4]: 编辑 `/opt/module/hadoop-3.1.3/etc/hadoop/hadoop-env.sh` 添加如下内容： ```sh export HADOOP_CLASSPATH=$($HBASE_HOME/bin/hbase classpath) ``` #### 4. **排查冲突或重复定义引起的干扰** 不同版本间的不兼容也可能间接造成找不到特定实现的现象。因此建议遵循单一来源原则——统一各子模块所引用的基础框架标准；同时利用命令行工具诊断潜在隐患： ```bash jar tf path-to-suspicious-jar-file | grep 'problematic.class.name' ``` --- ###