在集群上执行mr(操作hbase)任务报错

本文介绍了一个HBase中出现的非法访问错误及其解决方案。该问题是由于HBase的一个已知bug导致,在尝试访问HBase元表时触发。文章提供了解决此问题的具体步骤,包括在集群环境变量中添加特定的类路径。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

通过eclipse 插件远程提交mr(有操作hbase)任务到集群执行没有问题,

打成jar包在集群上执行报错,错误如下:

15/04/19 00:20:40 WARN client.HConnectionManager$HConnectionImplementation: Encountered problems when prefetch hbase:meta table:
org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.IllegalAccessError: class com.google.protobuf.HBaseZeroCopyByteString cannot access its superclass com.google.protobuf.LiteralByteString
        at org.apache.hadoop.hbase.client.RpcRetryingCaller.translateException(RpcRetryingCaller.java:215)
        at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithRetries(RpcRetryingCaller.java:127)
        at org.apache.hadoop.hbase.client.HTable.getRowOrBefore(HTable.java:705)
        at org.apache.hadoop.hbase.client.MetaScanner.metaScan(MetaScanner.java:144)
        at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.prefetchRegionCache(HConnectionManager.java:1107)
        at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.locateRegionInMeta(HConnectionManager.java:1167)
        at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.locateRegion(HConnectionManager.java:1059)
        at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.locateRegion(HConnectionManager.java:1016)
        at org.apache.hadoop.hbase.client.HTable.finishSetup(HTable.java:326)
        at org.apache.hadoop.hbase.client.HTable.<init>(HTable.java:192)
        at org.apache.hadoop.hbase.client.HTable.<init>(HTable.java:150)
        at com.lyq.mr.File2HFile2HBase.getJob(File2HFile2HBase.java:105)
        at com.lyq.mr.File2HFile2HBase.access$1(File2HFile2HBase.java:93)
        at com.lyq.mr.File2HFile2HBase$1.run(File2HFile2HBase.java:71)
        at com.lyq.mr.File2HFile2HBase$1.run(File2HFile2HBase.java:1)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:337)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1471)
        at com.lyq.mr.File2HFile2HBase.run(File2HFile2HBase.java:62)
        at com.lyq.mr.File2HFile2HBase.main(File2HFile2HBase.java:124)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
Caused by: java.lang.IllegalAccessError: class com.google.protobuf.HBaseZeroCopyByteString cannot access its superclass com.google.protobuf.LiteralByteString
        at java.lang.ClassLoader.defineClass1(Native Method)
        at java.lang.ClassLoader.defineClassCond(ClassLoader.java:631)
        at java.lang.ClassLoader.defineClass(ClassLoader.java:615)
        at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:141)
        at java.net.URLClassLoader.defineClass(URLClassLoader.java:283)
        at java.net.URLClassLoader.access$000(URLClassLoader.java:58)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:197)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
        at org.apache.hadoop.hbase.protobuf.RequestConverter.buildRegionSpecifier(RequestConverter.java:910)
        at org.apache.hadoop.hbase.protobuf.RequestConverter.buildGetRowOrBeforeRequest(RequestConverter.java:131)
        at org.apache.hadoop.hbase.protobuf.ProtobufUtil.getRowOrBefore(ProtobufUtil.java:1403)
        at org.apache.hadoop.hbase.client.HTable$2.call(HTable.java:701)
        at org.apache.hadoop.hbase.client.HTable$2.call(HTable.java:699)
        at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithRetries(RpcRetryingCaller.java:120)
        ... 23 more
Exception in thread "main" java.lang.IllegalAccessError: com/google/protobuf/HBaseZeroCopyByteString
        at org.apache.hadoop.hbase.protobuf.RequestConverter.buildRegionSpecifier(RequestConverter.java:910)
        at org.apache.hadoop.hbase.protobuf.RequestConverter.buildGetRowOrBeforeRequest(RequestConverter.java:131)
        at org.apache.hadoop.hbase.protobuf.ProtobufUtil.getRowOrBefore(ProtobufUtil.java:1403)
        at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.locateRegionInMeta(HConnectionManager.java:1181)
        at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.locateRegion(HConnectionManager.java:1059)
        at org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.locateRegion(HConnectionManager.java:1016)
        at org.apache.hadoop.hbase.client.HTable.finishSetup(HTable.java:326)
        at org.apache.hadoop.hbase.client.HTable.<init>(HTable.java:192)
        at org.apache.hadoop.hbase.client.HTable.<init>(HTable.java:150)
        at com.lyq.mr.File2HFile2HBase.getJob(File2HFile2HBase.java:105)
        at com.lyq.mr.File2HFile2HBase.access$1(File2HFile2HBase.java:93)
        at com.lyq.mr.File2HFile2HBase$1.run(File2HFile2HBase.java:71)
        at com.lyq.mr.File2HFile2HBase$1.run(File2HFile2HBase.java:1)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:337)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1471)
        at com.lyq.mr.File2HFile2HBase.run(File2HFile2HBase.java:62)
        at com.lyq.mr.File2HFile2HBase.main(File2HFile2HBase.java:124)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:212)

原因:

这是hbase的一个bug,详细信息访问:

https://issues.apache.org/jira/browse/HBASE-10304

解决方法:

1、在集群环境变量 etc/profiles 里添加如下配置:

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/home/hadoop/hbase-0.96.2-hadoop2/lib/hbase-protocol-0.96.2-hadoop2.jar

注意:hbase-protocol-*.jar 的路径根据自己配置目录而定。

2、执行source /etc/profile,是配置生效

 

<think>我们正在处理一个关于HBase Shell报错的问题。用户没有提供具体的错误信息,因此我们需要考虑一般性的HBase Shell报错排查步骤。 由于HBase Shell报错可能涉及多种原因,例如环境配置、服务状态、连接问题、命令语法错误等,我们将提供一般性的排查建议。 回答后,我们需要按照要求提出3-5个相关问题,并以“§§相关问题§§”开头,然后列出问题。 回答结构: 1. 首先,对HBase Shell报错进行一般性说明。 2. 提供常见的排查步骤。 3. 最后,按照要求输出相关问题。 注意:由于用户没有提供具体错误信息,我们的回答将侧重于通用排查方法。</think>当HBase Shell报错时,通常涉及环境配置、服务状态、命令语法或权限问题。以下是常见排查步骤: --- ### **1. 检查HBase服务状态** ```bash # 确保HDFS、ZooKeeper和HBase进程已启动 jps | grep -E "HMaster|HRegionServer|HQuorumPeer|NameNode" ``` - 若服务未启动,执行: ```bash start-hbase.sh # 启动HBase hbase-daemon.sh start master # 单独启动Master ``` --- ### **2. 查看错误日志** - 定位日志文件: ```bash tail -100f $HBASE_HOME/logs/hbase-*-master-*.log ``` - 常见错误: - **端口冲突**:检查`hbase-site.xml`中`hbase.master.port`是否被占用 - **ZooKeeper连接失败**:确认`zookeeper.quorum`配置正确 --- ### **3. 基础环境验证** - **Java版本**:需JDK 8或11(推荐) ```bash java -version ``` - **环境变量**: ```bash echo $JAVA_HOME && echo $HBASE_HOME ``` --- ### **4. 常见报错解决方案** | **错误类型** | **修复方法** | |----------------------------|-----------------------------------------------------------------------------| | `ConnectionRefused` | 检查HMaster/RPC服务是否运行,防火墙是否开放端口(默认16000/16010) | | `TableNotFoundException` | 确认表名拼写正确,或先执行`create 'table', 'cf'`创建表 | | `PermissionDenied` | 用HBase管理员执行命令,或检查HDFS权限:`hdfs dfs -ls /hbase` | | `ClassNotFoundException` | 检查`hbase-env.sh`中`HBASE_CLASSPATH`是否包含缺失的JAR包路径 | --- ### **5. 连接问题诊断** ```bash hbase shell <<EOF status # 检查集群状态 list # 查看所有表 exit EOF ``` - 若卡住无响应:检查ZooKeeper连接(`hbase zkcli`)或网络延迟。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值