Flink写数据（Sink）到HBASE报错解决

最新推荐文章于 2025-02-02 11:00:19 发布

yunzailin

最新推荐文章于 2025-02-02 11:00:19 发布

阅读量3.4k

点赞数

分类专栏：技术和原理项目实践文章标签： flink hbase

本文链接：https://blog.youkuaiyun.com/yunzailin/article/details/123808489

版权

在实施实时数仓项目中，使用Flink将数据写入HBASE遇到连接报错和连接次数过多的问题。通过调整连接池使用、初始化连接以及设置Flink Sink的并行度为1，成功解决了问题。关键在于理解Flink Sink的并行度对HBASE连接的影响，避免了多个不必要的连接导致的错误。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近在做一个实时数仓的项目，需要把维度数据打入到HBASE中，以便实时分析时使用。在写入数据到HBASE中时，遇到了以下问题：

1、连接报错：

根据提示，应该是连接被关闭了

Caused by: java.lang.IllegalArgumentException: Connection is null or closed.
	at org.apache.hadoop.hbase.client.HTable.<init>(HTable.java:308)
	at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.getTable(ConnectionManager.java:747)
	at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.getTable(ConnectionManager.java:729)
	at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.getTable(ConnectionManager.java:553)
	at cn.naixue.dwd.dim.DimHbaseSink$HBseSink.invoke(DimHbaseSink.java:115)

代码中看起来没什么问题：

 //初始化hbase连接conf和conn
        private static org.apache.hadoop.conf.Configuration conf;
        private static Connection conn;
       
        @Override
        public