hbase总结：插入数据的表名不存在或和创建的表名不一致

最新推荐文章于 2024-12-22 10:44:15 发布
原创 最新推荐文章于 2024-12-22 10:44:15 发布 · 1.4k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hbase #异常总结 #异常

本文介绍了一种在使用HBase进行表操作时遇到的异常情况及解决办法。主要问题出现在表名不一致导致的数据插入失败，通过确保创建表与插入数据时使用的表名相同来解决问题。

异常情况一：

public static void main(String[] args) {
		try {
			QueryRunner qr = MyDbutils.getQueryRunner();
			String sql = "SELECT * FROM OptionInfo";
			List<OptionInfo> list = qr.query(sql, new BeanListHandler(OptionInfo.class));
			HBaseManager.creatTable("MetaData_test", "Info");
			new InsertHbase().insertIntoHbase("MetaData_Test",list);
		} catch (Exception e) {
			e.printStackTrace();
		}

	}

仔细查看这两句： 

<span style="font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);">HBaseManager.creatTable(tableName, "Info");</span>
<span style="font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);">new InsertHbase().insertIntoHbase(tableName,list);</span>

程序会出现如下错误：

org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException: Failed 1 action: MetaData_Test: 1 time, 

at org.apache.hadoop.hbase.client.AsyncProcess$BatchErrors.makeException(AsyncProcess.java:203)
at org.apache.hadoop.hbase.client.AsyncProcess$BatchErrors.access$500(AsyncProcess.java:187)
at org.apache.hadoop.hbase.client.AsyncProcess.getErrors(AsyncProcess.java:922)
at org.apache.hadoop.hbase.client.HTable.backgroundFlushCommits(HTable.java:991)
at org.apache.hadoop.hbase.client.HTable.flushCommits(HTable.java:1287)
at org.apache.hadoop.hbase.client.HTable.put(HTable.java:917)
at com.dh.metaData.InsertHbase.insertIntoHbase(InsertHbase.java:37)

at com.dh.metaData.MetaData.main(MetaData.java:22)

解决方案：保证创建表名和插入表的表名一致！！！推荐使用同一个变量！

String tableName="MetaData_test";
HBaseManager.creatTable(tableName, "Info");
new InsertHbase().insertIntoHbase(tableName,list);



                

        

    



  



    



                



	

		

			

				
					
实验四 HBase开发:使用java操作HBase

				
			

			

				

					Lilianach的博客
				

				

					06-26
					
					2万+
					
				

			

		

		

			
				
一、实验目的
熟悉HBase数据库操作常用的Java API
二、实验平台

操作系统：CentOS 8
Hadoop版本：3.2.3
HBase版本：2.4.12
jdk版本：1.8
Java IDE：eclipse

三、实验过程
1. 创建表



			
		

	



                

            
              



	

		

			

				
					
【大数据学习 | HBASE】hbase的写数据流程与hbase插入数据

				
			

			

				

					2301_80912559的博客
				

				

					11-11
					
					1560
					
				

			

		

		

			
				
同hdfs的edits日志文件一样，每个regionserver中都存在一个HLog文件，这个文件主要是hbase的操作日志文件，这个文件内的数据会记录的操作，防止集群损坏后恢复用的。我们知道hbase的一个表为了多个机器并行进行管理和查询，将数据按照行进行拆分为多个region部分，多个region的数据会分散到不同的regionserver中进行管理，这个表全部都是元数据信息，但是这个表也会存在很多region信息，我们应该去那个region中查询meta表的数据呢，这个时候。

			
		

	



              


  
              

                


	

		

			

				
					
【Hbase一】基础

				
			

			

				

					weixin_33692284的博客
				

				

					05-21
					
					189
					
				

			

		

		

			
				
此笔记仅用于作者记录复习使用，如有错误地方欢迎留言指正，作者感激不尽，如有转载请指明出处
Hbase基础


Hbase基础

Hbase定义
行存储 v s 列存储
Hbase数据模型
Hbase物理模型
Hbase系统架构
Hbase的容错
Hbase特殊的表
合并
Hbase的Compaction和Split



Hbase定义

HBase是一个开源的非关系型分布式数据库（NoSQL），...

			
		

	





	

		

			

				
					
hbase中为何不能向表中插入数据_MySQL数据库中表记录的增、删和改操作

				
			

			

				

					weixin_39704314的博客
				

				

					11-20
					
					297
					
				

			

		

		

			
				
私信我或关注微信号：猿来如此呀，回复：学习，获取免费学习资源包。MySQL数据库中有关于表记录的操作修改表记录插入表记录语法：向表中插入某些列insert into 表 (列名1,列名2,列名3...) values (值1,值2,值3..); 向表中插入所有列insert into 表 values (值1,值2,值3...); 注意：1)在values中列出的数据位置必须与被加入列的排列位置相...

			
		

	



		

			
		



	

		

			

				
					
insert的时候数据源不正确

				
			

			

				

					吒哇
				

				

					12-07
					
					229
					
				

			

		

		

			
				
最近在做往一个表中插数据时，总是插错库，但是查询没有问题，最后定位的原因是在多数据源的时候事物有时会强制切换数据源，所以会导致库不正确


			
		

	





	

		

			

				
					
Hadoop大数据实战系列文章之HBase

				
			

			

				

					测试帮日记
				

				

					11-11
					
					563
					
				

			

		

		

			
				
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用 HBase 技术可在廉价 PC Server 上搭建起大规模结构化存储集群。

本章内容：

1) Hbase 简介

2) Hbase 数据模型

3) Hbase 基础原理

4) Hbase 系统架构

5) Hbase 基础操作

1. Hbase 简介

HBase 是 Apache Hadoop 中的一个子项目，Hbase 依托于 Hadoop 的 HDFS 作为最基本存储基础单元，通过

			
		

	





	

		

			

				
					
ZT：在mybatis的Mapping文件写入表名  出现异常ORA-00903: 表名无效 的解决

				
			

			

				

					weixin_30813225的博客
				

				

					10-07
					
					1301
					
				

			

		

		

			
				
简而言之，把#{tablename}换成${tablename}就能解决问题。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/tornado430/article/details/83001874
参考于：http://blog.51cto.com/11230344/22...

			
		

	





	

		

			

          精选资源
				
					
HBase入门：命名空间、建表、增删改查

				
			

			

				

					01-20
				

			

		

		

			
				
HBase构建于HDFS（Hadoop Distributed File System）之上，保证了数据的高可用性和容错性。  ### 命名空间  命名空间在HBase中用于逻辑上组织表，类似于关系型数据库中的数据库。命名空间管理可以帮助更好地管理和...

			
		

	





	

		

			

				
					
HBase Java API插入数据示例

				
			

			

				

					wyzaiyjq的博客
				

				

					12-22
					
					597
					
				

			

		

		

			
				
在本文中，我们将通过一个简单的示例来演示如何使用HBase的Java API向HBase表中插入数据。HBase是一个分布式的、可扩展的大数据存储系统，基于Google的Bigtable设计，并且是Hadoop生态系统的一部分。在开始之前，请确保您已经正确安装并配置了HBase环境。

			
		

	





	

		

			

				
					
Hbase创建表 插入数据和获得数据 java代码 【hadoop】

				
			

			

				

					qq_46924416的博客
				

				

					12-14
					
					993
					
				

			

		

		

			
				
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.*;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;
 
import java.io.IOException;
public class ExampleForHBase {
    public static Configuration 

			
		

	





	

		

			

				
					
hive/impala:分区表,hbase外表

				
			

			

				

					eyeofeagle的博客
				

				

					04-25
					
					2075
					
				

			

		

		

			
				
创建分区表：插入数据( 动态分区，手动分区)
create table users(
id int,
user_id int,
user_name string
);


create table product(
id int,
product_id int,
product_name string,
price double
);

create table orders (
id int,
...

			
		

	





	

		

			

				
					
HBase应用（一）：数据批量导入说明

				
			

			

				

					CREATE_17的博客
				

				

					06-11
					
					1080
					
				

			

		

		

			
				
版本说明：
通过 HDP 3.0.1 安装的 HBase 2.0.0

一、概述
HBase 本身提供了很多种数据导入的方式，目前常用的有三种常用方式：

使用 HBase 原生 Client API
使用 HBase 提供的 TableOutputFormat，原理是通过一个 Mapreduce 作业将数据导入 HBase
使用 Bulk Load 方式：原理是使用 MapReduce 作业以...

			
		

	





	

		

			

				
					
Hbase基础知识

				
			

			

				

					weixin_44133605的博客
				

				

					05-07
					
					2057
					
				

			

		

		

			
				
文章目录前言一、Hbase基础1、Hbase数据模型2、Hbase集群二、Hbase基础命令1.基础DDL操作2.基础DML操作3.HbaseApi操作三、Hbase核心1.储存原理2.Region3.Region内部原理4.Region数据溢写和合并、分裂5.Hbase读写流程6.Hbase优化四、Hbase与SQL的集成1、Hbase on hive2、Phoenix3、Phoenix sql4、Phoenix 二级索引总结

前言
非关系型数据数据库大量应用于数据缓存、消息队列等场景中，在大数据领域其

			
		

	





	

		

			

				
					
at org.apache.hadoop.hbase.client.AsyncProcess$BatchErrors.makeException hbase clientput数据失败

				
			

			

				

					weixin_42599429的博客
				

				

					05-07
					
					741
					
				

			

		

		

			
				
java clientput失败
解决方式
1.查看hbase的log日志
2021-05-07 22:04:45,997 INFO [AM.ZK.Worker-pool2-t17] master.RegionStates: Transition {5391dee324fcf5e26990ecea202be098 state=PENDING_OPEN, ts=1620396285688, server=hadoop02,16020,1620396224804} to {5391dee324fcf5e2699

			
		

	





	

		

			

				
					
Spark写hbase报错 AsyncRequestFutureImpl:490  Cannot get replica 0 location for

				
			

			

				

					一个数据小开发的博客
				

				

					01-28
					
					2974
					
				

			

		

		

			
				
AsyncRequestFutureImpl:490 - Cannot get replica 0 location for .....................................

org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException: Failed 1 action: xxx:xxxxx1 time, servers with issues: null

at org.apache.hadoop.hb.

			
		

	





	

		

			

				
					
Hbase Import导入数据异常处理-RetriesExhaustedWithDetailsException

				
			

			

				

					jast
				

				

					09-11
					
					8402
					
				

			

		

		

			
				
CDH显示



问题导致原因：


 hbase org.apache.hadoop.hbase.mapreduce.Import -Dmapred.job.queue.name=etl crawl:wechat_biz /hbase/test4

执行import时，短时间内写入数据量过大导致写入异常。


18/09/11 09:44:27 INFO mapreduce.Job: Task ...

			
		

	





	

		

			

				
					
Error: org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException

					
热门推荐

				
			

			

				

					shujuboke的博客
				

				

					06-29
					
					1万+
					
				

			

		

		

			
				
问题如下：
因为我要使用mapreduce操作hbase，所以我把hbase下所有的.jar文件都导入了eclipse下的mapreduce工程，在操作hbase时，遇到了下面的问题，弄了好久也不知道问题的所在，提示如下：
Error: org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException: Failed 176

			
		

	





	

		

			

				
					
HBase常见错误整理

				
			

			

				

					xqg1316的博客
				

				

					04-08
					
					1167
					
				

			

		

		

			
				
HBase常见错误:

1.向Hbase插入时，报错java.lang.IllegalArgumentException: KeyValue size too large的解决办法


2020-04-08 09:34:38,120 ERROR [main] ExecReducer: org.apache.hadoop.hive.ql.metadata.HiveException: Hive R...

			
		

	





	

		

			

				
					
Hbase插入表数据异常： RetriesExhaustedWithDetailsException: Failed 1 action: tableName: 1 time

				
			

			

				

					u010865811的博客
				

				

					06-05
					
					5427
					
				

			

		

		

			
				
&lt;hbase.version&gt;1.2.0-cdh5.7.0&lt;/hbase.version&gt;&lt;!-- HBase 依赖--&gt;
&lt;dependency&gt;
  &lt;groupId&gt;org.apache.hbase&lt;/groupId&gt;
  &lt;artifactId&gt;hbase-client&lt;/artifactId

			
		

	





	

		

			

				
					
HBase 开发：使用Java操作HBase创建表

					
最新发布

				
			

			

				

					06-11
				

			

		

		

			
				
<think>根据用户的问题，他想要了解如何使用JavaAPI在HBase中创建表。我们需要提供示例代码和教程。注意，用户之前提供了几个引用，但主要是关于获取表创建时间和插入数据的，而用户当前的需求是创建表。因此，我们需要根据HBase的JavaAPI标准来回答。首先，我们需要准备以下步骤：1.建立与HBase的连接。2.创建HBase管理对象（Admin）。3.定义表名和列族。4.创建表描述符（TableDescriptor）和列族描述符（ColumnFamilyDescriptor）。5.执行创建表操作。注意：在HBase的较新版本中（例如2.0及以上），API与旧版本（如1.x）有较大变化。这里我们将使用新API（org.apache.hadoop.hbase.client包下的新接口）。示例代码：```javaimportorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.TableName;importorg.apache.hadoop.hbase.client.Admin;importorg.apache.hadoop.hbase.client.Connection;importorg.apache.hadoop.hbase.client.ConnectionFactory;importorg.apache.hadoop.hbase.client.TableDescriptor;importorg.apache.hadoop.hbase.client.TableDescriptorBuilder;importorg.apache.hadoop.hbase.util.Bytes;importorg.apache.hadoop.hbase.client.ColumnFamilyDescriptor;importorg.apache.hadoop.hbase.client.ColumnFamilyDescriptorBuilder;importjava.io.IOException;publicclassCreateTableExample{publicstaticvoidmain(String[]args){//1.创建HBase配置Configurationconfig=HBaseConfiguration.create();//如果有其他配置，如ZooKeeper地址，可以通过config.set()设置//config.set("hbase.zookeeper.quorum","localhost");//2.建立连接try(Connectionconnection=ConnectionFactory.createConnection(config);Adminadmin=connection.getAdmin()){//3.定义表名和列族名TableNametableName=TableName.valueOf("test_table");StringcolumnFamilyName1="cf1";StringcolumnFamilyName2="cf2";//4.创建列族描述符ColumnFamilyDescriptorcfDescriptor1=ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes(columnFamilyName1)).build();ColumnFamilyDescriptorcfDescriptor2=ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes(columnFamilyName2)).build();//5.创建表描述符，并添加列族TableDescriptortableDescriptor=TableDescriptorBuilder.newBuilder(tableName).setColumnFamily(cfDescriptor1).setColumnFamily(cfDescriptor2).build();//6.检查表是否存在，如果不存在则创建if(!admin.tableExists(tableName)){admin.createTable(tableDescriptor);System.out.println("表创建成功！");}else{System.out.println("表已存在！");}}catch(IOExceptione){e.printStackTrace();}}}```教程步骤说明：1.**配置HBase连接**：使用`HBaseConfiguration.create()`创建配置对象。如果HBase配置没有在classpath的hbase-site.xml中，则需要手动设置，例如ZooKeeper的地址。2.**建立连接**：通过`ConnectionFactory`创建连接，然后从连接中获取`Admin`对象（用于管理HBase，如建表、删表等）。3.**定义表名和列族**：表名使用`TableName.valueOf`方法转换，列族名称使用字符串。4.**创建列族描述符**：使用`ColumnFamilyDescriptorBuilder`构建列族描述符。这里可以设置列族的属性（如版本数、压缩格式等），示例中使用了默认设置。5.**创建表描述符**：使用`TableDescriptorBuilder`构建表描述符，并添加列族描述符。一个表可以有多个列族。6.**创建表**：使用`Admin`对象的`createTable`方法创建表。在创建前通常检查表是否存在。注意事项：-需要将HBase的依赖添加到项目中（如Maven项目中添加hbase-client依赖）。-运行代码前确保HBase服务已启动（包括HMaster和RegionServer）。-如果连接远程HBase集群，确保网络畅通，并且配置正确的ZooKeeper地址。相关问题：1.如何设置HBase连接参数（如ZooKeeper地址）？2.如何在创建表时指定列族的属性（如版本数、压缩类型）？3.如何删除HBase中的表？4.如何验证表是否创建成功？</think>
### HBase Java API创建表示例教程

下面是通过Java API在HBase中创建表的完整代码示例和详细步骤说明：

#### 示例代码
```java
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.ColumnFamilyDescriptor;
import org.apache.hadoop.hbase.client.ColumnFamilyDescriptorBuilder;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.TableDescriptor;
import org.apache.hadoop.hbase.client.TableDescriptorBuilder;
import org.apache.hadoop.hbase.util.Bytes;

public class HBaseCreateTable {
    public static void main(String[] args) {
        try {
            // 1. 创建HBase配置对象
            Configuration config = HBaseConfiguration.create();
            config.set("hbase.zookeeper.quorum", "localhost"); // ZooKeeper地址
            
            // 2. 建立HBase连接
            try (Connection connection = ConnectionFactory.createConnection(config);
                 Admin admin = connection.getAdmin()) {
                
                // 3. 定义表名和列族
                TableName tableName = TableName.valueOf("user_info"); // 表名
                ColumnFamilyDescriptor cf1 = ColumnFamilyDescriptorBuilder
                    .newBuilder(Bytes.toBytes("basic")) // 列族1
                    .build();
                
                ColumnFamilyDescriptor cf2 = ColumnFamilyDescriptorBuilder
                    .newBuilder(Bytes.toBytes("contact")) // 列族2
                    .build();
                
                // 4. 构建表描述符
                TableDescriptor tableDesc = TableDescriptorBuilder.newBuilder(tableName)
                    .setColumnFamily(cf1)
                    .setColumnFamily(cf2)
                    .build();
                
                // 5. 创建表前检查是否存在
                if (!admin.tableExists(tableName)) {
                    // 6. 执行创建操作
                    admin.createTable(tableDesc);
                    System.out.println("表创建成功: " + tableName);
                } else {
                    System.out.println("表已存在: " + tableName);
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}
```

#### 详细步骤说明
1. **配置环境**
   - 依赖包：确保项目中包含 `hbase-client` 依赖（Maven示例）
     ```xml
     <dependency>
         <groupId>org.apache.hbase</groupId>
         <artifactId>hbase-client</artifactId>
         <version>2.4.11</version> <!-- 根据实际版本调整 -->
     </dependency>
     ```
   - 配置文件：`hbase-site.xml` 需在classpath中[^3]

2. **建立连接流程**
   ```mermaid
   graph TD
     A[创建Configuration对象] --> B[设置ZooKeeper地址]
     B --> C[ConnectionFactory创建连接]
     C --> D[获取Admin对象]
   ```

3. **核心参数说明**
   | 组件 | 说明 | 示例 |
   |------|------|------|
   | `TableName` | 表名标识 | `TableName.valueOf("test_table")` |
   | `ColumnFamilyDescriptor` | 列族定义 | 包含版本数/压缩策略等配置 |
   | `TableDescriptorBuilder` | 表结构生成器 | 可添加多个列族 |

4. **最佳实践建议**
   - 列族命名：使用短命名但保持语义清晰（如 `basic` 而非 `cf1`）
   - 异常处理：捕获 `IOException` 和 `TableExistsException`
   - 预分区：使用 `admin.createTable(tableDesc, startKey, endKey, numRegions)` 实现区域预分配

#### 注意事项
1. 连接HBase前需确保：
   - HMaster和RegionServer已启动
   - ZooKeeper服务可用
2. 表创建成功后，可通过HBase Shell验证：
   ```shell
   hbase> list
   hbase> describe 'user_info'
   ```

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值